
将文件上传到域名根目录,例如 https://example.com/robots.txt。
这款 robots.txt 生成器会根据您选择的选项,为搜索引擎和 AI 爬虫编写规则:禁止的路径、按爬虫设置的规则、Crawl-delay 和 Sitemap。文件在浏览器中生成。
/admin/ 或 /*?sort=,并在允许的路径 / 例外中填写例外。禁止 /admin/ 和两个 AI 爬虫后,会得到下面的文件(勾选禁止 AI 爬虫时,AI 组会列出所有已知的 AI 爬虫)。
User-agent: *Disallow: /admin/User-agent: GPTBotUser-agent: CCBotDisallow: /Sitemap: https://example.com/sitemap.xml
robots.txt 能让页面在 Google 中隐藏吗?
不能。它只阻止抓取;如果其他网站链接到被禁止的 URL,它仍可能被索引。要让页面不出现在搜索结果中,请使用 noindex meta 标签。
为 Googlebot 添加规则后,它还会遵守 * 规则吗?
不会。爬虫只使用与其匹配的最具体的组,因此工具会把禁止的路径复制到允许的爬虫组中。
屏蔽 AI 爬虫会影响 Google 排名吗?
不会。Google-Extended 只控制内容在 Gemini 和 Vertex AI 中的使用;Googlebot 仍会为搜索抓取您的网站。
Google 遵守 Crawl-delay 吗?
不遵守。Bing 和 Yandex 会遵守,但 Google 会忽略这一行。