Cloudflare ha lanzado la nueva función Robotcop para hacer cumplir las políticas de robots.txt
15:06, 11.12.2024
Descripción de la nueva función Robotcop
Cloudflare ha anunciado una nueva función en su panel de auditoría llamada Robotcop. Esta herramienta ayuda a supervisar cómo diferentes servicios de IA cumplen con las políticas especificadas en los archivos robots.txt y permite a los usuarios aplicar automáticamente estas políticas a nivel de red. Con el auge de la IA generativa, que escanea activamente internet para recopilar datos con fines de entrenamiento de modelos, muchos propietarios de sitios web han comenzado a actualizar sus políticas de robots.txt para restringir el acceso no solo a los rastreadores web, sino también a los bots de IA.
Gracias a la nueva función de Cloudflare, los propietarios de sitios web pueden obtener un informe sobre la cantidad de solicitudes provenientes de diferentes bots, incluidos los servicios de IA como ChatGPT, Google Gemini y otros. El panel de auditoría permite filtrar las solicitudes por categorías y obtener información sobre violaciones de políticas.
Cómo Robotcop ayuda a gestionar el tráfico y las violaciones de políticas
La función Robotcop proporciona informes sobre las violaciones de políticas para cada bot. Los usuarios pueden ver qué tráfico está violando las reglas establecidas y recibir sugerencias emergentes con detalles sobre las violaciones. La sección “Rutas más populares” muestra el tráfico que viola las políticas del sitio. Los usuarios también pueden aplicar reglas de robots.txt mediante una regla avanzada de firewall, bloqueando automáticamente a los infractores.
Esta función ya está disponible para todos los usuarios de Cloudflare, proporcionando herramientas adicionales para gestionar eficazmente el acceso al sitio y protegerlo contra bots no deseados.
1m, 26s
2
¿Te ha resultado útil este artículo?
Sí
No
Ofertas populares de VPS
-
-6.3%€/mes€ 111 /mesFacturado cada 12 meses
CPU4 Xeon Cores
RAM8 GB
Space100 GB SSD
BandwidthUnlimited -
-7.1%€/mes€ 210 /mesFacturado cada 12 meses
CPU6 Xeon Cores
RAM16 GB
Space150 GB SSD
BandwidthUnlimited
-
-9.6%€/mes€ 94 /mesFacturado cada 12 meses
CPU8 Epyc Cores
RAM32 GB
Space200 GB NVMe
BandwidthUnlimited
-
-15.6%€/mes€ 38 /mesFacturado cada 12 meses
CPU3 Xeon Cores
RAM1 GB
Space20 GB SSD
Bandwidth30 Mbps
-
-21.4%€/mes€ 67 /mesFacturado cada 12 meses
CPU6 Xeon Cores
RAM8 GB
Space100 GB SSD
Bandwidth500 GB
-
-8.9%€/mes€ 53 /mesFacturado cada 12 meses
CPU6 Xeon Cores
RAM16 GB
Space150 GB SSD
BandwidthUnlimited
-
-8.4%€/mes€ 27.5 /mesFacturado cada 12 meses
CPU4 Xeon Cores
RAM2 GB
Space30 GB SSD
BandwidthUnlimited
-
-10%€/mes€ 7 /mesFacturado cada 12 meses
CPU4 Xeon Cores
RAM2 GB
Space60 GB HDD
BandwidthUnlimited
-
-15.5%€/mes€ 95 /mesFacturado cada 12 meses
CPU6 Xeon Cores
RAM8 GB
Space100 GB SSD
Bandwidth80 Mbps
-
-11.5%€/mes€ 48 /mesFacturado cada 12 meses
OSCentOS
CPU6 Epyc Cores
RAM8 GB
Space100 GB NVMe
SoftwareKeitaro
BandwidthUnlimited
