Cloudflare acusó al motor de búsqueda de inteligencia artificial Perplexity de acceder a sitios web sin permiso, ignorando los métodos que estos tienen para bloquearlo. Esta situación no es tan simple como parece. Muchas personas defendieron a Perplexity, argumentando que su acceso a los sitios, aunque controvertido, es aceptable. La controversia crecerá a medida que más agentes de IA aparezcan en internet: ¿deberían ser tratados como bots o como humanos que hacen la misma solicitud?
Cloudflare, conocido por ofrecer servicios de seguridad web, realizó una prueba creando un nuevo sitio web que nunca había sido rastreado por ningún bot. Configuraron un archivo robots.txt para bloquear específicamente a los bots de Perplexity y luego preguntaron a Perplexity sobre el contenido del sitio. La respuesta de Perplexity llegó a través de un navegador genérico que imitaba a Google Chrome, ya que su rastreador fue bloqueado. El CEO de Cloudflare, Matthew Prince, criticó este comportamiento, pero muchos no estuvieron de acuerdo, señalando que Perplexity simplemente estaba accediendo a un sitio público a petición de un usuario.
Un portavoz de Perplexity negó que los bots fueran de la empresa y calificó la publicación de Cloudflare como una estrategia de ventas. En respuesta, Perplexity publicó un blog defendiendo su posición, alegando que el comportamiento provenía de un servicio de terceros que utilizan ocasionalmente. En su publicación, Perplexity argumentó que la diferencia entre el rastreo automatizado y la búsqueda impulsada por el usuario no es solo técnica, sino que se refiere a quién puede acceder a la información en la web abierta.
Cloudflare defendió su postura diciendo que OpenAI, otra empresa de IA, sigue mejores prácticas al respetar los bloqueos de robots. La actividad de bots está cambiando la forma en que se utiliza internet, y por primera vez, el tráfico de bots supera al de humanos, representando más del 50% del tráfico total, según un informe de Imperva. La mayoría de esta actividad proviene de modelos de lenguaje (LLMs), y los bots maliciosos constituyen el 37% del tráfico de internet.
Históricamente, se ha aceptado que los sitios web pueden y deben bloquear la actividad de bots, utilizando CAPTCHAs y otros servicios. Sin embargo, con el aumento de LLMs, surge la pregunta de si los sitios web perjudicarían sus intereses comerciales al bloquear agentes que podrían generar tráfico y potenciales ingresos publicitarios. En un debate en redes sociales, algunos expresaron su deseo de que Perplexity pudiera acceder a contenido público en su nombre, mientras que otros argumentaron que los propietarios de los sitios prefieren que los usuarios accedan directamente a su contenido. Esto plantea un dilema sobre el futuro del “navegación agente”, ya que muchos propietarios de sitios probablemente optarán por bloquear este tipo de acceso.
