
Envie o arquivo para a raiz do seu domínio, ex.: https://example.com/robots.txt.
Este gerador de robots.txt escreve as regras para robôs de buscadores e de IA conforme você escolhe as opções: caminhos bloqueados, regras por robô, Crawl-delay e Sitemap. O arquivo é montado no seu navegador.
/admin/ ou /*?sort=, e as exceções em Caminhos permitidos / exceções.Bloquear /admin/ e dois robôs de IA gera este arquivo (com Bloquear rastreadores de IA, o grupo de IA lista todos os robôs de IA conhecidos).
User-agent: *Disallow: /admin/User-agent: GPTBotUser-agent: CCBotDisallow: /Sitemap: https://example.com/sitemap.xml
O robots.txt esconde uma página do Google?
Não. Ele só impede o rastreamento; uma URL bloqueada ainda pode ser indexada se outros sites apontarem para ela. Use uma meta tag noindex para manter uma página fora dos resultados de busca.
Se eu adicionar uma regra para o Googlebot, ele ainda segue as regras de *?
Não. Um rastreador usa apenas o grupo mais específico que corresponde a ele, então a ferramenta copia seus caminhos bloqueados para o grupo dos robôs permitidos.
Bloquear rastreadores de IA afeta meu ranqueamento no Google?
Não. O Google-Extended só controla o uso no Gemini e no Vertex AI; o Googlebot continua rastreando seu site para a busca.
O Google respeita o Crawl-delay?
Não. O Bing e o Yandex respeitam, mas o Google ignora essa linha.