Cloudflare anuncia controle para separar busca na web de treinamento de IA

A Cloudflare anunciou em 15 de setembro um novo controle chamado Disallow AI Training. A proposta é permitir que proprietários de sites continuem acessíveis para mecanismos de busca, mas expressem a preferência de não ter o conteúdo utilizado para treinamento de inteligência artificial por rastreadores compatíveis.\n\nA mudança tenta resolver um problema que cresceu com crawlers de uso misto. Em alguns casos, o mesmo agente automatizado pode participar tanto de descoberta para busca quanto de coleta para outros usos. Bloquear completamente esse robô pode reduzir a visibilidade do site, enquanto permitir tudo pode contrariar a política do editor sobre treinamento de modelos.\n\nSegundo a Cloudflare, empresas como Apple, Google e Microsoft já adotaram ou se comprometeram a respeitar esse tipo de sinal em seus mecanismos compatíveis. O funcionamento prático ainda depende do comportamento de cada crawler e das configurações adotadas pelo administrador do domínio.\n\nPara pequenos sites, a novidade chama atenção para um tema importante: robots.txt, indexação para busca e uso de conteúdo por sistemas de IA não são exatamente a mesma coisa. É recomendável entender cada configuração antes de bloquear rastreadores de forma ampla.\n\nNo InfoTec Kysap, continuamos priorizando indexação legítima por mecanismos de busca e acompanharemos a evolução desses controles de transparência para editores.