search
format_align_left
Форматирование JSON Форматирование CSS Форматирование HTML Форматирование JavaScript Форматирование XML Форматирование SQL Форматирование исключений Просмотр Markdown и HTML в Markdown
data_object
JSON в Excel/CSV JSON в TypeScript, C#, Go, Java, Kotlin, Python и Dart Конвертер JSON ⇄ YAML / TOML JSON Diff – сравнение двух JSON Просмотр JSON и тестер JSONPath
table_chart
Excel/CSV в JSON Excel/CSV в SQL Excel/CSV в HTML
description
Сравнение текстов Текст в Hex Текст в Base64 Изменение регистра Тестер Regex Удаление вьетнамских диакритик и генератор slug Число прописью Счётчик слов Работа со строками: удаление дублей, сортировка Генератор Lorem Ipsum
image
Конвертер изображений Конвертер изображений в Base64 Сжатие изображений Изменить размер и обрезать Генератор favicon Цветовая палитра из изображения Просмотр и удаление EXIF
qr_code_2
Генератор QR-кодов Сканер QR-кодов Генератор QR VietQR для банковских переводов Генератор QR-кода для Wi-Fi Генератор QR-кода vCard (визитка) Генератор штрихкодов (EAN-13, Code 128, Code 39)
lock
Конвертер токенов Генератор хешей Генератор паролей Генератор HMAC (SHA-256, SHA-512) AES шифрование и расшифровка онлайн Bcrypt: генерация и проверка хеша Генератор SSH-ключей (Ed25519 / RSA)
schedule
Конвертер даты и времени Часовые пояса Конвертер вьетнамского лунного календаря Калькулятор возраста Калькулятор дат Парсер cron-выражений Таймер обратного отсчёта
link
Кодирование и декодирование URL Сокращение ссылок Парсер URL и конструктор UTM Проверка HTTP-заголовков
storage
Разбор STATISTICS Сравнение STATISTICS Конвертер SQL INSERT в JSON SQL-таблица в класс C# / TypeScript / Java
travel_explore
Создание sitemap Генератор robots.txt Генератор мета-тегов Превью Open Graph
terminal
Конвертер систем счисления Генератор UUID / ULID / NanoID Калькулятор chmod Коды состояния HTTP
palette
Палитра цветов
help_outline
О насПолитика конфиденциальностиУсловия использования
THUTOOL
search

Генератор robots.txt

🔒 Обработка на 100% в браузере — ваши данные не покидают устройство
Все роботы (User-agent: *)

Bing и Яндекс учитывают Crawl-delay; Google его игнорирует.

ИИ-роботы

Блокирует ботов, собирающих контент для обучения ИИ или ответов ИИ. Поисковики это не затрагивает.

GPTBotOpenAI (training)
ChatGPT-UserOpenAI (ChatGPT browsing)
OAI-SearchBotOpenAI (SearchGPT)
ClaudeBotAnthropic
Claude-UserAnthropic (user fetch)
anthropic-aiAnthropic (legacy)
Google-ExtendedGoogle Gemini / Vertex AI
Applebot-ExtendedApple Intelligence
CCBotCommon Crawl
PerplexityBotPerplexity
BytespiderByteDance
AmazonbotAmazon
Meta-ExternalAgentMeta AI
cohere-aiCohere
DiffbotDiffbot
Роботы поисковиков
GooglebotGoogle Search
Googlebot-ImageGoogle Images
BingbotMicrosoft Bing
SlurpYahoo
DuckDuckBotDuckDuckGo
BaiduspiderBaidu
YandexBotYandex
ApplebotApple
coccocbot-webCốc Cốc
YetiNaver
Sitemap

Загрузите файл в корень домена, напр. https://example.com/robots.txt.


Как создать файл robots.txt и заблокировать ИИ-роботов

Этот генератор robots.txt составляет правила для поисковых и ИИ-ботов по выбранным вами опциям: запрещённые пути, правила для отдельных ботов, Crawl-delay и Sitemap. Файл создаётся в вашем браузере.

  1. В разделе Все роботы (User-agent: *) выберите Разрешить обход или Запретить всё.
  2. Укажите пути в поле Запрещённые пути по одному в строке, например /admin/ или /*?sort=, а исключения — в поле Разрешённые пути / исключения.
  3. Отметьте Блокировать ИИ-роботов, чтобы закрыть доступ GPTBot, ClaudeBot, CCBot, Google-Extended и другим ИИ-ботам. Для каждого поискового бота можно также выбрать Как для *, Разрешить или Запретить, либо нажать Добавить для другого user-agent.
  4. Добавьте URL вашей карты сайта в поле Sitemap, затем нажмите Копировать или Скачать и загрузите файл в корень домена.

Пример

Блокировка /admin/ и двух ИИ-ботов даёт такой файл (с опцией Блокировать ИИ-роботов группа ИИ включает всех известных ИИ-ботов).

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Частые вопросы

Скрывает ли robots.txt страницу от Google?
Нет. Он только запрещает обход; заблокированный URL всё равно может попасть в индекс, если на него ссылаются другие сайты. Чтобы убрать страницу из поиска, используйте мета-тег noindex.

Если добавить правило для Googlebot, будет ли он соблюдать правила для *?
Нет. Робот использует только самую конкретную подходящую ему группу, поэтому инструмент копирует ваши запрещённые пути в группу разрешённых ботов.

Влияет ли блокировка ИИ-роботов на позиции в Google?
Нет. Google-Extended управляет только использованием в Gemini и Vertex AI; Googlebot по-прежнему обходит ваш сайт для поиска.

Учитывает ли Google Crawl-delay?
Нет. Bing и Яндекс его соблюдают, а Google игнорирует эту строку.

Похожие инструменты

  • Создание sitemapСоздайте XML sitemap обходом сайта или из списка Excel / CSV: lastmod, priority, проверка битых ссылок и sitemap index. Бесплатно.
  • Генератор мета-теговСоздайте title, meta description, canonical, Open Graph и Twitter Card со счётчиками длины и превью Google, Facebook и X. Бесплатно.
  • Превью Open GraphВведите URL и посмотрите превью в Facebook, Zalo и X. Проверка og:title, og:image, twitter:card, canonical и длины title/description.
  • Excel/CSV в HTMLПревратите Excel (XLS, XLSX) или CSV в аккуратную HTML-таблицу для копирования. Бесплатно и полностью в браузере.
  • Конвертер даты и времениПереводите Unix timestamp (секунды или миллисекунды) в дату и дату обратно в timestamp, с выводом в ISO 8601 и RFC 2822.
  • Кодирование и декодирование URLКодируйте или декодируйте любую строку в URL онлайн (percent-encoding). Бесплатно, мгновенно и полностью в браузере.
@Сделано в THUTOOL