Website Crawler
La integración con Website Crawler permite a tus trabajadores IA extraer e indexar automáticamente contenido de sitios web públicos. Respeta robots.txt, soporta sitemaps y convierte contenido web en documentos de conocimiento buscables.
Lo que puedes hacer
- 1Ingest public website content for knowledge base
- 2Research competitor websites and documentation
- 3Extract product information from catalogs
- 4Monitor public pages for changes
- 5Build training datasets from public sources
Acceso a datos y privacidad
CreateWorker solo accede a los datos necesarios para completar tareas. Todo el acceso se registra y es auditable.
- •Public website content (text only)
- •Page titles and metadata
- •Internal link structure
Flujo de aprobación
- ✓Todas las acciones requieren aprobación humana por defecto
- ✓Cada acción se registra en tu registro de auditoría
- ✓Revoca el acceso en cualquier momento desde la configuración