search
format_align_left
Formatador de JSON Formatador de CSS Formatador de HTML Formatador de JavaScript Formatador de XML Formatador de SQL Formatador de exceções Prévia de Markdown e HTML para Markdown
data_object
JSON para Excel/CSV JSON para TypeScript, C#, Go, Java, Kotlin, Python e Dart Conversor JSON ⇄ YAML / TOML JSON Diff – comparar dois JSON Visualizador JSON e testador de JSONPath
table_chart
Excel/CSV para JSON Excel/CSV para SQL Excel/CSV para HTML
description
Comparar textos Texto para Hex Texto para Base64 Conversor de maiúsculas e minúsculas Testador de Regex Removedor de acentos vietnamitas e gerador de slug Número por extenso Contador de palavras Ferramentas de linhas: remover duplicadas, ordenar linhas Gerador de Lorem Ipsum
image
Converter imagem Conversor de imagem para Base64 Compressor de imagens Redimensionar e recortar imagem Gerador de favicon Paleta de cores a partir de imagem Visualizador e removedor de EXIF
qr_code_2
Gerador de QR Code Leitor de QR Code Gerador de QR VietQR para transferência bancária Gerador de QR Code de Wi-Fi Gerador de QR Code vCard (cartão de visita) Gerador de código de barras (EAN-13, Code 128, Code 39)
lock
Converter token Converter hash Gerar senha Gerador HMAC (SHA-256, SHA-512) Criptografar / descriptografar AES online Gerador e verificador de hash Bcrypt Gerador de chave SSH (Ed25519 / RSA)
schedule
Converter data e hora Informações de fuso horário Conversor de calendário lunar vietnamita Calculadora de idade Calculadora de datas Interpretador de expressões cron Contagem regressiva
link
Codificar e decodificar URLs Encurtar URL Analisador de URL e gerador de UTM Verificador de cabeçalhos HTTP
storage
Analisador de estatísticas Comparar estatísticas Conversor de SQL INSERT para JSON Tabela SQL para classe C# / TypeScript / Java
travel_explore
Criar sitemap Gerador de robots.txt Gerador de meta tags Prévia de Open Graph
terminal
Conversor de bases numéricas Gerador de UUID / ULID / NanoID Calculadora chmod Códigos de status HTTP
palette
Seletor de cores
help_outline
Sobre nósPolítica de privacidadeTermos de Serviço
THUTOOL
search

Gerador de robots.txt

🔒 Processado 100% no seu navegador – seus dados nunca saem do seu dispositivo
Todos os rastreadores (User-agent: *)

Bing e Yandex respeitam o Crawl-delay; o Google o ignora.

Rastreadores de IA

Bloqueia bots que coletam conteúdo para treinar IA ou gerar respostas de IA. Os buscadores não são afetados.

GPTBotOpenAI (training)
ChatGPT-UserOpenAI (ChatGPT browsing)
OAI-SearchBotOpenAI (SearchGPT)
ClaudeBotAnthropic
Claude-UserAnthropic (user fetch)
anthropic-aiAnthropic (legacy)
Google-ExtendedGoogle Gemini / Vertex AI
Applebot-ExtendedApple Intelligence
CCBotCommon Crawl
PerplexityBotPerplexity
BytespiderByteDance
AmazonbotAmazon
Meta-ExternalAgentMeta AI
cohere-aiCohere
DiffbotDiffbot
Bots de buscadores
GooglebotGoogle Search
Googlebot-ImageGoogle Images
BingbotMicrosoft Bing
SlurpYahoo
DuckDuckBotDuckDuckGo
BaiduspiderBaidu
YandexBotYandex
ApplebotApple
coccocbot-webCốc Cốc
YetiNaver
Sitemap

Envie o arquivo para a raiz do seu domínio, ex.: https://example.com/robots.txt.


Como criar um arquivo robots.txt e bloquear rastreadores de IA

Este gerador de robots.txt escreve as regras para robôs de buscadores e de IA conforme você escolhe as opções: caminhos bloqueados, regras por robô, Crawl-delay e Sitemap. O arquivo é montado no seu navegador.

  1. Em Todos os rastreadores (User-agent: *), escolha Permitir rastreamento ou Bloquear tudo.
  2. Informe os Caminhos bloqueados, um por linha, como /admin/ ou /*?sort=, e as exceções em Caminhos permitidos / exceções.
  3. Marque Bloquear rastreadores de IA para barrar GPTBot, ClaudeBot, CCBot, Google-Extended e outros robôs de IA. Você também pode definir Igual a *, Permitir ou Bloquear para cada robô de buscador, ou clicar em Adicionar para incluir outro user-agent.
  4. Adicione a URL do seu sitemap em Sitemap, depois clique em Copiar ou Baixar e envie o arquivo para a raiz do seu domínio.

Exemplo

Bloquear /admin/ e dois robôs de IA gera este arquivo (com Bloquear rastreadores de IA, o grupo de IA lista todos os robôs de IA conhecidos).

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Perguntas frequentes

O robots.txt esconde uma página do Google?
Não. Ele só impede o rastreamento; uma URL bloqueada ainda pode ser indexada se outros sites apontarem para ela. Use uma meta tag noindex para manter uma página fora dos resultados de busca.

Se eu adicionar uma regra para o Googlebot, ele ainda segue as regras de *?
Não. Um rastreador usa apenas o grupo mais específico que corresponde a ele, então a ferramenta copia seus caminhos bloqueados para o grupo dos robôs permitidos.

Bloquear rastreadores de IA afeta meu ranqueamento no Google?
Não. O Google-Extended só controla o uso no Gemini e no Vertex AI; o Googlebot continua rastreando seu site para a busca.

O Google respeita o Crawl-delay?
Não. O Bing e o Yandex respeitam, mas o Google ignora essa linha.

Ferramentas relacionadas

  • Criar sitemapCrie um sitemap XML rastreando seu site ou a partir de uma lista Excel / CSV, com lastmod, priority, checagem de links quebrados e sitemap index.
  • Gerador de meta tagsGere title, meta description, canonical, tags Open Graph e Twitter Card com contador de caracteres e prévia no Google, Facebook e X. Grátis.
  • Prévia de Open GraphDigite uma URL e veja a prévia no Facebook, Zalo e X. Verifica og:title, og:image, twitter:card, canonical e o tamanho de title/description.
  • Excel/CSV para HTMLConverta arquivos Excel (XLS, XLSX) ou CSV em uma tabela HTML limpa para copiar e colar. Grátis e processado totalmente no navegador.
  • Converter data e horaConverta Unix timestamps (segundos ou milissegundos) em datas legíveis e datas em timestamps, com saída ISO 8601 e RFC 2822.
  • Codificar e decodificar URLsCodifique ou decodifique qualquer texto de URL online (percent-encoding). Grátis, instantâneo e processado totalmente no seu navegador.
@Feito por THUTOOL