
Загрузите файл в корень домена, напр. https://example.com/robots.txt.
Этот генератор robots.txt составляет правила для поисковых и ИИ-ботов по выбранным вами опциям: запрещённые пути, правила для отдельных ботов, Crawl-delay и Sitemap. Файл создаётся в вашем браузере.
/admin/ или /*?sort=, а исключения — в поле Разрешённые пути / исключения.Блокировка /admin/ и двух ИИ-ботов даёт такой файл (с опцией Блокировать ИИ-роботов группа ИИ включает всех известных ИИ-ботов).
User-agent: *Disallow: /admin/User-agent: GPTBotUser-agent: CCBotDisallow: /Sitemap: https://example.com/sitemap.xml
Скрывает ли robots.txt страницу от Google?
Нет. Он только запрещает обход; заблокированный URL всё равно может попасть в индекс, если на него ссылаются другие сайты. Чтобы убрать страницу из поиска, используйте мета-тег noindex.
Если добавить правило для Googlebot, будет ли он соблюдать правила для *?
Нет. Робот использует только самую конкретную подходящую ему группу, поэтому инструмент копирует ваши запрещённые пути в группу разрешённых ботов.
Влияет ли блокировка ИИ-роботов на позиции в Google?
Нет. Google-Extended управляет только использованием в Gemini и Vertex AI; Googlebot по-прежнему обходит ваш сайт для поиска.
Учитывает ли Google Crawl-delay?
Нет. Bing и Яндекс его соблюдают, а Google игнорирует эту строку.