Website Crawler
De Website Crawler integratie stelt uw AI-workers in staat om automatisch inhoud van openbare websites te extraheren en indexeren. Het respecteert robots.txt, ondersteunt sitemaps en converteert webcontent naar doorzoekbare kennisdocumenten.
Wat je kunt doen
- 1Ingest public website content for knowledge base
- 2Research competitor websites and documentation
- 3Extract product information from catalogs
- 4Monitor public pages for changes
- 5Build training datasets from public sources
Gegevenstoegang & privacy
CreateWorker heeft alleen toegang tot de gegevens die nodig zijn om taken uit te voeren. Alle toegang wordt gelogd en is controleerbaar.
- •Public website content (text only)
- •Page titles and metadata
- •Internal link structure
Goedkeuringsworkflow
- ✓Alle acties vereisen standaard menselijke goedkeuring
- ✓Elke actie wordt gelogd in je audit trail
- ✓Trek toegang op elk moment in via instellingen