search
format_align_left
JSON フォーマッタ CSS フォーマッタ HTML フォーマッタ JS フォーマッタ XML フォーマッタ SQL フォーマッタ 例外フォーマッタ Markdown プレビュー & HTML → Markdown
data_object
JsonからExcel/CSVへ JSON から TypeScript・C#・Go・Java・Kotlin・Python・Dart JSON ⇄ YAML / TOML 変換 JSON 差分比較(JSON Diff) JSON ビューア & JSONPath テスター
table_chart
Excel/CSVからJsonへ Excel/CSVをSQLに変換 Excel/CSVをHTMLに変換
description
テキストを比較する テキストを 16 進数に変換 Base64 へのテキスト 大文字・小文字変換 正規表現テスター ベトナム語アクセント除去・スラッグ生成 文字数カウント 行の処理:重複削除・並べ替え Lorem Ipsum ダミーテキスト生成
image
画像を変換 画像 Base64 変換 画像圧縮 画像のリサイズ・トリミング ファビコン作成 画像からカラーパレット抽出 EXIFビューア・削除
qr_code_2
QR コード生成ツール QRコードスキャナー VietQR 振込用QRコード作成 Wi-Fi QRコード作成 vCard QRコード作成(名刺) バーコード作成(EAN-13・Code 128・Code 39)
lock
トークンを変換 ハッシュを変換 パスワードを生成 HMAC生成(SHA-256・SHA-512) AES暗号化・復号ツール bcryptハッシュ生成・照合
schedule
日時の変換 タイムゾーン情報 ベトナム旧暦(陰暦)変換 日付計算(日数計算) Cron式の解析・説明 カウントダウンタイマー
link
URL のエンコードとデコード 短縮URL URL解析・UTMビルダー HTTP ヘッダーチェッカー
storage
統計パーサー 統計の比較 SQL INSERT ⇄ JSON 変換 SQL テーブル → C# / TypeScript / Java クラス変換
travel_explore
サイトマップを作成 robots.txt 作成ツール メタタグ作成ツール Open Graph プレビュー
terminal
進数変換ツール UUID / ULID / NanoID 生成 chmod計算ツール HTTPステータスコード一覧
palette
カラーピッカー
help_outline
私たちについてプライバシーポリシー利用規約
THUTOOL
search

robots.txt 作成ツール

🔒 ブラウザ内で100%処理 – データが端末の外に送信されることはありません
すべてのクローラー(User-agent: *)

Bing と Yandex は Crawl-delay に従いますが、Google は無視します。

AI クローラー

AI の学習や回答のためにコンテンツを収集するボットをブロックします。検索エンジンには影響しません。

GPTBotOpenAI (training)
ChatGPT-UserOpenAI (ChatGPT browsing)
OAI-SearchBotOpenAI (SearchGPT)
ClaudeBotAnthropic
Claude-UserAnthropic (user fetch)
anthropic-aiAnthropic (legacy)
Google-ExtendedGoogle Gemini / Vertex AI
Applebot-ExtendedApple Intelligence
CCBotCommon Crawl
PerplexityBotPerplexity
BytespiderByteDance
AmazonbotAmazon
Meta-ExternalAgentMeta AI
cohere-aiCohere
DiffbotDiffbot
検索エンジンのボット
GooglebotGoogle Search
Googlebot-ImageGoogle Images
BingbotMicrosoft Bing
SlurpYahoo
DuckDuckBotDuckDuckGo
BaiduspiderBaidu
YandexBotYandex
ApplebotApple
coccocbot-webCốc Cốc
YetiNaver
Sitemap

ドメインのルートにアップロードしてください(例: https://example.com/robots.txt)。


robots.txt を作成する方法

  1. すべてのクローラーに対するルールを選びます。クロールを許可する(ブロックするパスを列挙)か、すべてブロックするかです。
  2. ブロックするパスを 1 行に 1 つ入力します(例: /admin/、/*?sort=)。例外は「許可するパス」に入力します。
  3. AI クローラーをブロックにチェックすると GPTBot、ClaudeBot、CCBot、Google-Extended などの AI ボットを拒否できます。検索エンジンのボットごとにルールを設定することもできます。
  4. サイトマップの URL を追加し、robots.txt をコピーまたはダウンロードしてドメインのルートにアップロードします。

例

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

よくある質問

robots.txt でページを Google から隠せますか? いいえ。クロールを止めるだけで、他サイトからリンクされていればブロックした URL もインデックスされることがあります。検索結果から除外するには noindex メタタグを使います。

Googlebot 専用のルールを追加すると、* のルールも適用されますか? いいえ。クローラーは一致する最も具体的なグループだけを使うため、このツールはブロックしたパスを許可したボットのグループにもコピーします。

AI クローラーをブロックすると Google の順位に影響しますか? いいえ。Google-Extended は Gemini での利用だけを制御し、検索用の Googlebot は引き続きクロールします。

関連ツール

  • サイトマップを作成Webサイトをクロールして、Google Search Consoleに送信できるXMLサイトマップを作成する無料ツールです。
  • メタタグ作成ツールtitle、meta description、canonical、OGP、Twitter Card を作成。文字数カウントと Google・Facebook・X の表示プレビュー付き。無料。
  • Open Graph プレビューURL を入力して Facebook、Zalo、X での表示を確認。og:title、og:image、twitter:card、canonical、タイトルと説明文の長さをチェックします。
  • JsonからExcel/CSVへJSONをExcel(XLSX)またはCSVに無料でオンライン変換。JSONを貼り付けるかアップロードして、すぐに表をダウンロードできます。
  • Excel/CSVからJsonへExcel(XLS・XLSX)やCSVファイルをすぐにJSONへ変換。ファイルはブラウザ内で処理され、アップロードされません。
  • 日時の変換Unixタイムスタンプ(秒・ミリ秒)を日時に、日時をタイムスタンプに変換。ISO 8601とRFC 2822形式でも表示します。
@作られた THUTOOL