A Cloudflare anunciou em 15 de setembro um novo controle chamado Disallow AI Training. A proposta é permitir que proprietários de sites continuem acessíveis para mecanismos de busca, mas expressem a preferência de não ter o conteúdo utilizado para treinamento de inteligência artificial por rastreadores compatíveis.
A mudança tenta resolver um problema que cresceu com crawlers de uso misto. Em alguns casos, o mesmo agente automatizado pode participar tanto de descoberta para busca quanto de coleta para outros usos. Bloquear completamente esse robô pode reduzir a visibilidade do site, enquanto permitir tudo pode contrariar a política do editor sobre treinamento de modelos.
Segundo a Cloudflare, empresas como Apple, Google e Microsoft já adotaram ou se comprometeram a respeitar esse tipo de sinal em seus mecanismos compatíveis. O funcionamento prático ainda depende do comportamento de cada crawler e das configurações adotadas pelo administrador do domínio.
Para pequenos sites, a novidade chama atenção para um tema importante: robots.txt, indexação para busca e uso de conteúdo por sistemas de IA não são exatamente a mesma coisa. É recomendável entender cada configuração antes de bloquear rastreadores de forma ampla.
No InfoTec Kysap, continuamos priorizando indexação legítima por mecanismos de busca e acompanharemos a evolução desses controles de transparência para editores.
Cloudflare Blog — abrir fonte oficial ↗
O InfoTec Kysap produz texto próprio a partir de informações verificáveis e identifica a fonte primária quando a matéria se baseia em anúncio ou documento externo.