Cloudflare ha lanzado la nueva función Robotcop para hacer cumplir las políticas de robots.txt

1m, 26s

15:06, 11.12.2024

Contenido del artículo

Descripción de la nueva función Robotcop
Cómo Robotcop ayuda a gestionar el tráfico y las violaciones de políticas

Descripción de la nueva función Robotcop

Cloudflare ha anunciado una nueva función en su panel de auditoría llamada Robotcop. Esta herramienta ayuda a supervisar cómo diferentes servicios de IA cumplen con las políticas especificadas en los archivos robots.txt y permite a los usuarios aplicar automáticamente estas políticas a nivel de red. Con el auge de la IA generativa, que escanea activamente internet para recopilar datos con fines de entrenamiento de modelos, muchos propietarios de sitios web han comenzado a actualizar sus políticas de robots.txt para restringir el acceso no solo a los rastreadores web, sino también a los bots de IA.

Gracias a la nueva función de Cloudflare, los propietarios de sitios web pueden obtener un informe sobre la cantidad de solicitudes provenientes de diferentes bots, incluidos los servicios de IA como ChatGPT, Google Gemini y otros. El panel de auditoría permite filtrar las solicitudes por categorías y obtener información sobre violaciones de políticas.

Cómo Robotcop ayuda a gestionar el tráfico y las violaciones de políticas

La función Robotcop proporciona informes sobre las violaciones de políticas para cada bot. Los usuarios pueden ver qué tráfico está violando las reglas establecidas y recibir sugerencias emergentes con detalles sobre las violaciones. La sección “Rutas más populares” muestra el tráfico que viola las políticas del sitio. Los usuarios también pueden aplicar reglas de robots.txt mediante una regla avanzada de firewall, bloqueando automáticamente a los infractores.

Esta función ya está disponible para todos los usuarios de Cloudflare, proporcionando herramientas adicionales para gestionar eficazmente el acceso al sitio y protegerlo contra bots no deseados.