search
format_align_left
Formateador JSON Formateador CSS Formateador HTML Formateador JavaScript Formateador XML Formateador SQL Formateador de excepciones Vista previa de Markdown y HTML a Markdown
data_object
JSON a Excel/CSV JSON a TypeScript, C#, Go, Java, Kotlin, Python y Dart Convertidor JSON ⇄ YAML / TOML JSON Diff – Comparar dos JSON Visor JSON y probador de JSONPath
table_chart
Excel/CSV a JSON Excel/CSV a SQL Excel/CSV a HTML
description
Comparar textos Texto a hexadecimal Texto a Base64 Convertidor de mayúsculas y minúsculas Probador de Regex Quitar tildes del vietnamita y generar slug Número a letras Contador de palabras Herramientas de líneas: quitar duplicados, ordenar líneas Generador de Lorem Ipsum
image
Convertir imagen Convertidor de imagen a Base64 Compresor de imágenes Redimensionar y recortar imagen Generador de favicon Paleta de colores de una imagen Visor y eliminador de EXIF
qr_code_2
Generador de códigos QR Lector de códigos QR Generador de QR VietQR para transferencias bancarias Generador de códigos QR para Wi-Fi Generador de códigos QR vCard (tarjeta de visita) Generador de códigos de barras (EAN-13, Code 128, Code 39)
lock
Convertir token Convertir hash Generar contraseña Generador HMAC (SHA-256, SHA-512) Cifrar / descifrar AES online Generador y verificador de hash bcrypt Generador de claves SSH (Ed25519 / RSA)
schedule
Convertir fecha y hora Información de zonas horarias Convertidor de calendario lunar vietnamita Calculadora de edad Calculadora de fechas Intérprete de expresiones cron Cuenta regresiva
link
Codificar y decodificar URL Acortar URL Analizador de URL y generador UTM Comprobador de cabeceras HTTP
storage
Analizador de estadísticas Comparar estadísticas Conversor de SQL INSERT a JSON Tabla SQL a clase C# / TypeScript / Java
travel_explore
Crear sitemap Generador de robots.txt Generador de meta tags Vista previa de Open Graph
terminal
Conversor de bases numéricas Generador de UUID / ULID / NanoID Calculadora chmod Códigos de estado HTTP
palette
Selector de color
help_outline
Sobre nosotrosPolítica de privacidadTérminos del servicio
THUTOOL
search

Generador de robots.txt

🔒 Procesado al 100 % en tu navegador: tus datos nunca salen de tu dispositivo
Todos los rastreadores (User-agent: *)

Bing y Yandex respetan Crawl-delay; Google lo ignora.

Rastreadores de IA

Bloquea los bots que recopilan contenido para entrenar IA o generar respuestas de IA. No afecta a los buscadores.

GPTBotOpenAI (training)
ChatGPT-UserOpenAI (ChatGPT browsing)
OAI-SearchBotOpenAI (SearchGPT)
ClaudeBotAnthropic
Claude-UserAnthropic (user fetch)
anthropic-aiAnthropic (legacy)
Google-ExtendedGoogle Gemini / Vertex AI
Applebot-ExtendedApple Intelligence
CCBotCommon Crawl
PerplexityBotPerplexity
BytespiderByteDance
AmazonbotAmazon
Meta-ExternalAgentMeta AI
cohere-aiCohere
DiffbotDiffbot
Bots de buscadores
GooglebotGoogle Search
Googlebot-ImageGoogle Images
BingbotMicrosoft Bing
SlurpYahoo
DuckDuckBotDuckDuckGo
BaiduspiderBaidu
YandexBotYandex
ApplebotApple
coccocbot-webCốc Cốc
YetiNaver
Sitemap

Sube el archivo a la raíz de tu dominio, p. ej. https://example.com/robots.txt.


Cómo crear un archivo robots.txt y bloquear los rastreadores de IA

Este generador de robots.txt escribe las reglas para los bots de buscadores y de IA a medida que eliges opciones: rutas bloqueadas, reglas por bot, Crawl-delay y Sitemap. El archivo se genera en tu navegador.

  1. En Todos los rastreadores (User-agent: *), elige Permitir rastreo o Bloquear todo.
  2. Introduce las Rutas bloqueadas, una por línea, como /admin/ o /*?sort=, y las excepciones en Rutas permitidas / excepciones.
  3. Marca Bloquear rastreadores de IA para frenar a GPTBot, ClaudeBot, CCBot, Google-Extended y otros bots de IA. También puedes elegir Igual que *, Permitir o Bloquear para cada bot de buscador, o Añadir otro user-agent.
  4. Añade la URL de tu sitemap en Sitemap, luego haz clic en Copiar o Descargar y sube el archivo a la raíz de tu dominio.

Ejemplo

Bloquear /admin/ y dos bots de IA genera este archivo (con Bloquear rastreadores de IA, el grupo de IA incluye todos los bots de IA conocidos).

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Preguntas frecuentes

¿robots.txt oculta una página a Google?
No. Solo impide el rastreo; una URL bloqueada aún puede indexarse si otros sitios enlazan a ella. Usa una meta etiqueta noindex para dejar una página fuera de los resultados de búsqueda.

Si añado una regla para Googlebot, ¿sigue respetando las reglas de *?
No. Un rastreador solo usa el grupo más específico que le corresponde, así que la herramienta copia tus rutas bloqueadas en el grupo de los bots permitidos.

¿Bloquear los rastreadores de IA afecta a mi posicionamiento en Google?
No. Google-Extended solo controla el uso en Gemini y Vertex AI; Googlebot sigue rastreando tu sitio para la búsqueda.

¿Google respeta Crawl-delay?
No. Bing y Yandex lo respetan, pero Google ignora esa línea.

Herramientas relacionadas

  • Crear sitemapCrea un sitemap XML rastreando tu sitio o desde una lista Excel / CSV, con lastmod, priority, revisión de enlaces rotos e índice de sitemaps. Gratis.
  • Generador de meta tagsGenera etiquetas title, meta description, canonical, Open Graph y Twitter Card con contador de longitud y vista previa en Google, Facebook y X. Gratis.
  • Vista previa de Open GraphIntroduce una URL y mira cómo se ve en Facebook, Zalo y X. Revisa og:title, og:image, twitter:card, canonical y la longitud de title/description.
  • Excel/CSV a HTMLConvierte archivos Excel (XLS, XLSX) o CSV en una tabla HTML limpia para copiar y pegar. Gratis y procesado por completo en tu navegador.
  • Convertir fecha y horaConvierte Unix timestamps (segundos o milisegundos) a fechas legibles y fechas a timestamps, con salida en ISO 8601 y RFC 2822.
  • Codificar y decodificar URLCodifica o decodifica cualquier texto como URL online (percent-encoding). Gratis, al instante y procesado por completo en tu navegador.
@Hecho por THUTOOL