
ドメインのルートにアップロードしてください(例: https://example.com/robots.txt)。
/admin/、/*?sort=)。例外は「許可するパス」に入力します。robots.txt をコピーまたはダウンロードしてドメインのルートにアップロードします。User-agent: * Disallow: /admin/ User-agent: GPTBot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml
robots.txt でページを Google から隠せますか? いいえ。クロールを止めるだけで、他サイトからリンクされていればブロックした URL もインデックスされることがあります。検索結果から除外するには noindex メタタグを使います。
Googlebot 専用のルールを追加すると、* のルールも適用されますか? いいえ。クローラーは一致する最も具体的なグループだけを使うため、このツールはブロックしたパスを許可したボットのグループにもコピーします。
AI クローラーをブロックすると Google の順位に影響しますか? いいえ。Google-Extended は Gemini での利用だけを制御し、検索用の Googlebot は引き続きクロールします。