
Sube el archivo a la raíz de tu dominio, p. ej. https://example.com/robots.txt.
Este generador de robots.txt escribe las reglas para los bots de buscadores y de IA a medida que eliges opciones: rutas bloqueadas, reglas por bot, Crawl-delay y Sitemap. El archivo se genera en tu navegador.
/admin/ o /*?sort=, y las excepciones en Rutas permitidas / excepciones.Bloquear /admin/ y dos bots de IA genera este archivo (con Bloquear rastreadores de IA, el grupo de IA incluye todos los bots de IA conocidos).
User-agent: *Disallow: /admin/User-agent: GPTBotUser-agent: CCBotDisallow: /Sitemap: https://example.com/sitemap.xml
¿robots.txt oculta una página a Google?
No. Solo impide el rastreo; una URL bloqueada aún puede indexarse si otros sitios enlazan a ella. Usa una meta etiqueta noindex para dejar una página fuera de los resultados de búsqueda.
Si añado una regla para Googlebot, ¿sigue respetando las reglas de *?
No. Un rastreador solo usa el grupo más específico que le corresponde, así que la herramienta copia tus rutas bloqueadas en el grupo de los bots permitidos.
¿Bloquear los rastreadores de IA afecta a mi posicionamiento en Google?
No. Google-Extended solo controla el uso en Gemini y Vertex AI; Googlebot sigue rastreando tu sitio para la búsqueda.
¿Google respeta Crawl-delay?
No. Bing y Yandex lo respetan, pero Google ignora esa línea.