search
format_align_left
JSON 格式化 CSS 格式化 HTML 格式化 JavaScript 格式化 XML 格式化 SQL 格式化 异常格式化 Markdown 预览和 HTML 转 Markdown
data_object
JSON 转 Excel/CSV JSON 转 TypeScript、C#、Go、Java、Kotlin、Python 和 Dart JSON ⇄ YAML / TOML 转换器 JSON 对比 – 比较两个 JSON JSON 查看器与 JSONPath 测试
table_chart
Excel/CSV 转 JSON Excel/CSV 转 SQL Excel/CSV 转 HTML
description
文本对比 文本转十六进制 文本转 Base64 大小写转换 正则表达式测试 越南语去声调与 Slug 生成器 数字转文字 字数统计 行处理工具:去除重复行、排序 Lorem Ipsum 生成器
image
图片格式转换 图片转 Base64 图片压缩 调整图片大小与裁剪 Favicon 生成器 图片取色板 EXIF 查看与清除
qr_code_2
二维码生成器 二维码扫描器 VietQR 银行转账二维码生成器 Wi-Fi 二维码生成器 vCard 二维码生成器(电子名片) 条形码生成器(EAN-13、Code 128、Code 39)
lock
Token 转换 哈希转换 密码生成器 HMAC 生成器(SHA-256、SHA-512) AES 在线加密 / 解密 Bcrypt 哈希生成与校验 SSH 密钥生成器(Ed25519 / RSA)
schedule
日期时间转换 时区信息 越南农历转换器 年龄计算器 日期计算器 Cron 表达式解析器 倒计时器
link
URL 编码和解码 短链接生成 URL 解析器和 UTM 生成器 HTTP 响应头检测
storage
Statistics 解析器 Statistics 对比 SQL INSERT 转 JSON 转换器 SQL 表转 C# / TypeScript / Java 类
travel_explore
创建 Sitemap robots.txt 生成器 Meta 标签生成器 Open Graph 预览
terminal
进制转换器 UUID / ULID / NanoID 生成器 Chmod 权限计算器 HTTP 状态码
palette
取色器
help_outline
关于我们隐私政策服务条款
THUTOOL
search

robots.txt 生成器

🔒 100% 在浏览器中处理 – 您的数据不会离开您的设备
所有爬虫(User-agent: *)

Bing 和 Yandex 遵守 Crawl-delay;Google 会忽略。

AI 爬虫

禁止为 AI 训练或 AI 回答收集内容的爬虫。搜索引擎不受影响。

GPTBotOpenAI (training)
ChatGPT-UserOpenAI (ChatGPT browsing)
OAI-SearchBotOpenAI (SearchGPT)
ClaudeBotAnthropic
Claude-UserAnthropic (user fetch)
anthropic-aiAnthropic (legacy)
Google-ExtendedGoogle Gemini / Vertex AI
Applebot-ExtendedApple Intelligence
CCBotCommon Crawl
PerplexityBotPerplexity
BytespiderByteDance
AmazonbotAmazon
Meta-ExternalAgentMeta AI
cohere-aiCohere
DiffbotDiffbot
搜索引擎爬虫
GooglebotGoogle Search
Googlebot-ImageGoogle Images
BingbotMicrosoft Bing
SlurpYahoo
DuckDuckBotDuckDuckGo
BaiduspiderBaidu
YandexBotYandex
ApplebotApple
coccocbot-webCốc Cốc
YetiNaver
Sitemap

将文件上传到域名根目录,例如 https://example.com/robots.txt。


如何创建 robots.txt 文件并屏蔽 AI 爬虫

这款 robots.txt 生成器会根据您选择的选项,为搜索引擎和 AI 爬虫编写规则:禁止的路径、按爬虫设置的规则、Crawl-delay 和 Sitemap。文件在浏览器中生成。

  1. 在所有爬虫(User-agent: *)下,选择允许抓取或全部禁止。
  2. 在禁止的路径中每行输入一个路径,例如 /admin/ 或 /*?sort=,并在允许的路径 / 例外中填写例外。
  3. 勾选禁止 AI 爬虫,可屏蔽 GPTBot、ClaudeBot、CCBot、Google-Extended 等 AI 爬虫。还可以为每个搜索引擎爬虫设置与 * 相同、允许或禁止,或添加其他 user-agent。
  4. 在 Sitemap 下添加 sitemap URL,然后复制或下载文件,并上传到域名根目录。

示例

禁止 /admin/ 和两个 AI 爬虫后,会得到下面的文件(勾选禁止 AI 爬虫时,AI 组会列出所有已知的 AI 爬虫)。

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

常见问题

robots.txt 能让页面在 Google 中隐藏吗?
不能。它只阻止抓取;如果其他网站链接到被禁止的 URL,它仍可能被索引。要让页面不出现在搜索结果中,请使用 noindex meta 标签。

为 Googlebot 添加规则后,它还会遵守 * 规则吗?
不会。爬虫只使用与其匹配的最具体的组,因此工具会把禁止的路径复制到允许的爬虫组中。

屏蔽 AI 爬虫会影响 Google 排名吗?
不会。Google-Extended 只控制内容在 Gemini 和 Vertex AI 中的使用;Googlebot 仍会为搜索抓取您的网站。

Google 遵守 Crawl-delay 吗?
不遵守。Bing 和 Yandex 会遵守,但 Google 会忽略这一行。

相关工具

  • 创建 Sitemap通过抓取网站或从 Excel / CSV 列表生成 XML sitemap,支持 lastmod、priority、死链检测和 sitemap 索引。免费。
  • Meta 标签生成器生成 title、meta description、canonical、Open Graph 和 Twitter Card 标签,附长度计数及 Google、Facebook、X 预览。免费。
  • Open Graph 预览输入 URL,预览其在 Facebook、Zalo 和 X 上的显示效果。检查 og:title、og:image、twitter:card、canonical 以及标题/描述长度。
  • Excel/CSV 转 HTML将 Excel(XLS、XLSX)或 CSV 文件转换为整洁的 HTML 表格,可直接复制粘贴。免费,完全在浏览器中处理。
  • 日期时间转换将 Unix 时间戳(秒或毫秒)转换为可读日期,或将日期转换为时间戳,支持 ISO 8601 和 RFC 2822 输出。
  • URL 编码和解码在线对任意字符串进行 URL 编码或解码(百分号编码)。免费、即时,完全在浏览器中处理。
@由 THUTOOL 制作