Google, OpenAI, Microsoft e Anthropic aceitam uma só regra no robots.txt contra o treino de IA: o que muda no site da sua empresa

Até agora, quem não queria que os textos do seu site servissem para treinar modelos de inteligência artificial tinha de escrever no robots.txt uma regra para cada empresa: uma para a OpenAI, outra para a Google, outra para a Anthropic, e assim por diante. Isso está prestes a mudar. A 30 de outubro de 2026, a Google, a OpenAI e a Microsoft anunciaram que vão respeitar um sinal comum, uma só linha no robots.txt, para dizer «não» ao treino de IA em todos os fornecedores que o adotarem.

A proposta técnica foi escrita por Kevin Kelley, da Anthropic, e publicada no mesmo dia como rascunho na IETF, a organização que define muitos dos padrões da Internet. Neste artigo explicamos o que é a nova regra, quando começa a contar e o que a sua empresa deve decidir antes de mexer no ficheiro.

O que é a nova regra

O rascunho define um «token de política» chamado __usage_ai-training. Escreve-se como se fosse o nome de um robô, num grupo normal do robots.txt. O exemplo do próprio documento é este:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Segundo o texto do rascunho, estas três linhas expressam uma preferência contra o treino de IA em todo o site, exceto na pasta /press-kit/, onde o treino fica autorizado. Não há diretivas novas nem gramática nova: valem as mesmas regras de caminhos e de prioridade que já conhece do robots.txt.

O que conta como «treino de IA» também está definido. O rascunho usa a definição do grupo de trabalho AI Preferences da IETF: usar um conteúdo para alterar os parâmetros aprendidos de um modelo de IA generativa. Modelos usados apenas para classificar, ordenar ou pontuar ficam de fora.

Três pormenores que fazem diferença

• Não bloqueia o rastreio. O rascunho diz expressamente que este token «não é uma diretiva sobre o comportamento de rastreio». Exprime como quer que o conteúdo seja usado, não se o robô pode visitar a página. Para limitar visitas, continuam a valer as regras dirigidas a cada robô pelo nome.
• O asterisco não conta. Um grupo User-Agent: * não pode ser lido como correspondendo a este token. Se o seu ficheiro não tiver uma linha User-Agent: __usage_ai-training, o site simplesmente não exprimiu nenhuma preferência.
• Regras específicas ganham. As expressões específicas devem ter prioridade sobre as gerais, e os acordos privados entre um site e uma empresa de IA podem sobrepor-se ao sinal.

Quando começa a funcionar

Para já, nenhum destes fornecedores lê o novo token. As datas anunciadas são diferentes:

• OpenAI: diz que pretende implementar o sinal «nos próximos meses» e que os controlos que já existem, como as regras para o GPTBot, continuam a ser respeitados.
• Google: pretende suportar o sinal «em 2027», juntamente com outros fornecedores. A documentação dos seus robôs aponta para o início de 2027.
• Microsoft (Bing): começa a respeitar as novas preferências a 1 de fevereiro de 2027, à medida que volta a rastrear cada site.

O rascunho é uma submissão individual. Como nota o The Next Web, ainda não foi adotado pela IETF e não tem estatuto formal de padrão. Pode mudar até lá.

Cuidado com a Google: treino e respostas do Gemini andam juntos

A parte mais delicada está na forma como a Google vai ler o sinal. No anúncio, a empresa explica que, quando um site recusar o treino com o novo token e não mencionar o Google-Extended, vai tratar isso como se o site tivesse bloqueado o Google-Extended.

O Google-Extended é o controlo que a Google oferece desde 2023 para o treino dos modelos Gemini. Mas a própria Google lembra, no mesmo texto, que os sites que autorizam expressamente o Google-Extended «podem aparecer nas respostas e receber cliques» através do grounding nas apps Gemini, isto é, quando o Gemini vai buscar fontes à web para responder. Na prática, uma recusa geral pode custar-lhe também presença e cliques nas respostas do Gemini.

Se quer recusar o treino mas continuar a poder ser citado no Gemini, terá de o dizer expressamente, com um grupo próprio para o Google-Extended. Segundo a documentação dos robôs da Google, o Google-Extended não afeta a inclusão do site na Pesquisa Google nem é usado como fator de posição. Ainda assim, convém confirmar cada regra antes de a publicar.

A Microsoft separa treino de respostas

A Microsoft foi mais longe. Além de adotar o sinal comum para o treino, criou uma preferência separada para o grounding, definida página a página, com três opções: permitir, recusar ou DisallowExtended. Esta última, segundo o blogue do Bing, limita o uso às experiências da própria Microsoft, como o Copilot, e exclui os serviços que a Microsoft vende a terceiros.

Há um prazo a reter. Se o seu site usa hoje as etiquetas NoArchive ou NoCache para travar o uso pela IA do Bing, a Microsoft pede que publique as novas preferências até 1 de março de 2027. A partir dessa data, essas etiquetas deixam de ser lidas como preferência de treino ou de grounding. A Microsoft avisa ainda que recusar o grounding reduz a visibilidade da marca nas respostas de IA, e que nenhuma das escolhas garante inclusão, tráfego ou pagamento.

O que a sua empresa deve fazer agora

1. Abra o seu robots.txt (está em oseusite.pt/robots.txt) e veja que regras já existem para robôs de IA, como GPTBot, ClaudeBot ou Google-Extended. Muitos sites têm regras herdadas de temas ou plugins que ninguém reviu.
2. Decida o que quer, separando duas coisas: deixar que o conteúdo treine modelos e aparecer citado nas respostas de IA. Para a maioria das PME, que vivem de serem encontradas, ser citado no ChatGPT, no Gemini ou no Copilot vale mais do que proteger textos de apresentação. Para quem vende conteúdo, como meios de comunicação ou formação, a conta pode ser outra.
3. Não apague as regras atuais. O novo sinal ainda não é lido por ninguém. As regras por robô continuam a ser a única forma que funciona hoje.
4. Se acrescentar o novo grupo, seja explícito com a Google. Escreva também um grupo para o Google-Extended com a escolha que quer, para não perder o Gemini sem querer.
5. Se usa NoArchive ou NoCache, aponte o prazo de 1 de março de 2027 para rever as preferências do Bing.
6. Teste antes de publicar. Um erro no robots.txt pode tirar páginas da pesquisa. Use o relatório de robots.txt da Search Console depois de cada alteração.

Porque é que isto importa

A Google lembra que a proposta é coerente com o Código de Conduta para modelos de IA de uso geral, ao abrigo do Regulamento Europeu da IA, que reconhece o robots.txt como forma principal de os editores exprimirem preferências legíveis por máquinas. Ou seja, o pequeno ficheiro na raiz do seu site está a ganhar peso legal e comercial. Já tínhamos visto isso com os termos comerciais da Meta, adiados depois da contestação dos editores, e com o que muda na Lei da IA europeia a 2 de dezembro.

Se quer aparecer nas respostas de IA, o robots.txt é só o primeiro passo. Explicamos o resto em como aparecer nas respostas do ChatGPT e do Modo IA e na nossa checklist de SEO técnico.

Não sabe o que o seu robots.txt está hoje a bloquear? Faça a auditoria gratuita ao seu site e veja em poucos minutos o que corrigir. Se preferir, a MarcaWeb revê o ficheiro consigo e ajusta as regras ao que a sua empresa quer.