search
format_align_left
JSON Formatter CSS Formatter HTML Formatter JavaScript Formatter XML Formatter SQL Formatter Exception Formatter Markdown प्रीव्यू और HTML से Markdown
data_object
JSON से Excel/CSV JSON से TypeScript, C#, Go, Java, Kotlin, Python और Dart JSON ⇄ YAML / TOML कन्वर्टर JSON Diff – दो JSON की तुलना करें JSON व्यूअर और JSONPath टेस्टर
table_chart
Excel/CSV से JSON Excel/CSV से SQL Excel/CSV से HTML
description
टेक्स्ट की तुलना करें Text से Hex Text से Base64 केस कन्वर्टर Regex टेस्टर वियतनामी Accent Remover और Slug जनरेटर संख्या को शब्दों में वर्ड काउंटर लाइन टूल: डुप्लिकेट हटाएँ, लाइनें सॉर्ट करें Lorem Ipsum जनरेटर
image
इमेज कन्वर्ट करें Image से Base64 कन्वर्टर इमेज कंप्रेसर इमेज Resize और Crop करें Favicon जनरेटर इमेज से Color Palette EXIF व्यूअर और रिमूवर
qr_code_2
QR Code जनरेटर QR कोड स्कैनर VietQR बैंक ट्रांसफ़र QR जनरेटर Wi-Fi QR कोड जनरेटर vCard QR कोड जनरेटर (बिज़नेस कार्ड) बारकोड जनरेटर (EAN-13, Code 128, Code 39)
lock
Token कन्वर्ट करें Hash कन्वर्ट करें पासवर्ड जनरेट करें HMAC जनरेटर (SHA-256, SHA-512) AES Encrypt / Decrypt ऑनलाइन Bcrypt Hash Generator और Checker SSH Key जनरेटर (Ed25519 / RSA)
schedule
डेटटाइम कन्वर्ट करें टाइम ज़ोन जानकारी वियतनामी चंद्र कैलेंडर कन्वर्टर उम्र कैलकुलेटर तारीख कैलकुलेटर Cron Expression पार्सर काउंटडाउन टाइमर
link
URL Encode और Decode URL छोटा करें URL पार्सर और UTM बिल्डर HTTP Header चेकर
storage
Statistics Parser Statistics Compare SQL INSERT से JSON कन्वर्टर SQL Table से C# / TypeScript / Java Class
travel_explore
Sitemap बनाएँ robots.txt जनरेटर Meta Tag जनरेटर Open Graph प्रीव्यू
terminal
Number Base कन्वर्टर UUID / ULID / NanoID जनरेटर Chmod कैलकुलेटर HTTP Status Codes
palette
Color Picker
help_outline
हमारे बारे मेंगोपनीयता नीतिसेवा की शर्तें
THUTOOL
search

robots.txt जनरेटर

🔒 100% आपके ब्राउज़र में प्रोसेस होता है – आपका डेटा कभी आपके डिवाइस से बाहर नहीं जाता
सभी crawlers (User-agent: *)

Bing और Yandex Crawl-delay मानते हैं; Google इसे अनदेखा करता है।

AI crawlers

AI ट्रेनिंग या AI जवाबों के लिए कंटेंट इकट्ठा करने वाले bots को ब्लॉक करता है। सर्च इंजन पर असर नहीं पड़ता।

GPTBotOpenAI (training)
ChatGPT-UserOpenAI (ChatGPT browsing)
OAI-SearchBotOpenAI (SearchGPT)
ClaudeBotAnthropic
Claude-UserAnthropic (user fetch)
anthropic-aiAnthropic (legacy)
Google-ExtendedGoogle Gemini / Vertex AI
Applebot-ExtendedApple Intelligence
CCBotCommon Crawl
PerplexityBotPerplexity
BytespiderByteDance
AmazonbotAmazon
Meta-ExternalAgentMeta AI
cohere-aiCohere
DiffbotDiffbot
सर्च इंजन bots
GooglebotGoogle Search
Googlebot-ImageGoogle Images
BingbotMicrosoft Bing
SlurpYahoo
DuckDuckBotDuckDuckGo
BaiduspiderBaidu
YandexBotYandex
ApplebotApple
coccocbot-webCốc Cốc
YetiNaver
Sitemap

फ़ाइल को अपने डोमेन के root में अपलोड करें, जैसे https://example.com/robots.txt।


robots.txt फ़ाइल कैसे बनाएँ और AI crawlers को कैसे ब्लॉक करें

यह robots.txt generator आपके चुने विकल्पों के अनुसार सर्च इंजन और AI bots के नियम लिखता है: ब्लॉक किए गए paths, हर bot के नियम, Crawl-delay और Sitemap। फ़ाइल आपके ब्राउज़र में बनती है।

  1. सभी crawlers (User-agent: *) में Crawling की अनुमति दें या सब कुछ ब्लॉक करें चुनें।
  2. प्रतिबंधित paths में हर लाइन में एक path डालें, जैसे /admin/ या /*?sort=, और अपवाद अनुमत paths / अपवाद में डालें।
  3. GPTBot, ClaudeBot, CCBot, Google-Extended और दूसरे AI bots को रोकने के लिए AI crawlers ब्लॉक करें पर टिक करें। आप हर सर्च इंजन bot के लिए * के समान, अनुमति दें या ब्लॉक करें भी सेट कर सकते हैं, या कोई और user-agent जोड़ें।
  4. Sitemap में अपना sitemap URL जोड़ें, फिर फ़ाइल को कॉपी करें या डाउनलोड करें और उसे अपने डोमेन के root में अपलोड करें।

उदाहरण

/admin/ और दो AI bots को ब्लॉक करने पर यह फ़ाइल बनती है (AI crawlers ब्लॉक करें के साथ AI समूह में सभी ज्ञात AI bots होते हैं)।

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

अक्सर पूछे जाने वाले प्रश्न

क्या robots.txt किसी पेज को Google से छिपाता है?
नहीं। यह केवल crawling रोकता है; अगर दूसरी साइटें लिंक करती हैं, तो ब्लॉक किया गया URL फिर भी index हो सकता है। किसी पेज को सर्च परिणामों से बाहर रखने के लिए noindex meta tag इस्तेमाल करें।

अगर मैं Googlebot के लिए नियम जोड़ूँ, तो क्या वह * के नियम भी मानेगा?
नहीं। Crawler केवल उससे मेल खाने वाले सबसे विशिष्ट समूह को मानता है, इसलिए टूल आपके ब्लॉक किए गए paths को अनुमत bots के समूह में कॉपी कर देता है।

क्या AI crawlers ब्लॉक करने से मेरी Google ranking पर असर पड़ता है?
नहीं। Google-Extended केवल Gemini और Vertex AI में उपयोग को नियंत्रित करता है; Googlebot सर्च के लिए आपकी साइट crawl करता रहता है।

क्या Google Crawl-delay मानता है?
नहीं। Bing और Yandex इसे मानते हैं, लेकिन Google इस लाइन को अनदेखा करता है।

संबंधित टूल्स

  • Sitemap बनाएँसाइट crawl करके या Excel / CSV सूची से XML sitemap बनाएँ, lastmod, priority, broken-link जाँच और sitemap index के साथ। फ्री।
  • Meta Tag जनरेटरtitle, meta description, canonical, Open Graph और Twitter Card टैग बनाएँ, लंबाई काउंटर और Google, Facebook व X preview के साथ। फ्री।
  • Open Graph प्रीव्यूURL डालें और देखें कि यह Facebook, Zalo और X पर कैसा दिखता है। og:title, og:image, twitter:card, canonical और title/description लंबाई जाँचता है।
  • Excel/CSV से HTMLExcel (XLS, XLSX) या CSV फ़ाइलों को साफ़ HTML टेबल में बदलें जिसे आप कॉपी-पेस्ट कर सकें। फ्री और पूरी तरह ब्राउज़र में प्रोसेस।
  • डेटटाइम कन्वर्ट करेंUnix timestamp (सेकंड या मिलीसेकंड) को पढ़ने योग्य तारीख में और तारीख को वापस timestamp में बदलें, ISO 8601 और RFC 2822 आउटपुट के साथ।
  • URL Encode और Decodeकिसी भी स्ट्रिंग को ऑनलाइन URL encode या decode करें (percent-encoding)। फ्री, तुरंत और पूरी तरह ब्राउज़र में प्रोसेस।
@THUTOOL द्वारा निर्मित