Cloudflare alerta: Google rastrea 3,2 veces más web que OpenAI para entrenar IA
Matthew Prince, cofundador y director ejecutivo de Cloudflare, ha reavivado el debate sobre la concentración de poder en la inteligencia artificial al revelar datos internos sobre el alcance de los rastreadores web de las grandes tecnológicas. Según sus mediciones, Googlebot, el robot de indexación de Google, ve 3,2 veces más páginas de la web que el rastreador de OpenAI, lo que se traduce en un volumen de datos significativamente superior para entrenar modelos de IA.
El directivo expuso estas cifras en un podcast del medio TBPN, donde detalló que la brecha no solo afecta a OpenAI, sino también a otros actores como Microsoft y Anthropic. De acuerdo con estos datos, Google tendría acceso aproximadamente a 4,6–4,8 veces más contenido que Microsoft y niveles similares o superiores frente a Anthropic y otras compañías de IA, consolidando una posición dominante en el acceso a información online.
Prince atribuye esta ventaja al peso histórico de Google en el mercado de búsqueda, que ha llevado a que muchos editores y administradores de sitios web concedan a Googlebot permisos privilegiados, incluso detrás de muros de pago y áreas restringidas. La necesidad de mantener la visibilidad en el buscador genera incentivos para aceptar el rastreo, mientras que otros bots de IA se enfrentan a mayores bloqueos, limitaciones técnicas o exigencias de compensación por parte de los propietarios de contenido.
Esta situación ha provocado preocupación entre editores, reguladores y actores del sector tecnológico por el posible efecto de “foso de datos” en favor de Google. Prince advierte de que, en un contexto donde la escala y diversidad del conjunto de entrenamiento son factores críticos, el acceso privilegiado a más datos podría convertir a Google en el competidor prácticamente inalcanzable en el desarrollo de sistemas de IA avanzados.
El debate se enmarca en una tensión creciente entre plataformas de IA y creadores de contenidos, especialmente medios de comunicación que dependen del tráfico de buscadores para sostener su modelo de negocio. Organizaciones periodísticas y otros editores reclaman mecanismos de negociación y compensación más claros por el uso de su contenido en el entrenamiento de modelos, mientras vigilan los posibles impactos de la IA generativa en la distribución de tráfico y la visibilidad de sus páginas.
Cloudflare, como proveedor de infraestructura de seguridad y rendimiento para millones de sitios web, ha comenzado a ofrecer herramientas específicas para controlar el acceso de los rastreadores de IA y condicionar su entrada a la existencia de acuerdos comerciales. Con estas medidas, la compañía busca dar a los propietarios de sitios más capacidad de decisión sobre quién puede extraer sus datos y en qué condiciones, al tiempo que presiona para que el sector avance hacia estándares de transparencia y compensación en el uso de contenidos para entrenar modelos de IA.
En paralelo, Google sostiene que ofrece mecanismos para que los sitios limiten el uso de sus contenidos en productos de IA sin perder posiciones en el buscador, mientras defiende que su objetivo es generar tráfico de alta calidad hacia las fuentes originales. Sin embargo, los críticos señalan que la integración entre búsqueda y productos de IA, junto con la dificultad técnica y económica de renunciar a Google Search, mantiene una asimetría de poder que podría atraer la atención de autoridades de competencia y reguladores de datos en distintos mercados.