
फ़ाइल को अपने डोमेन के root में अपलोड करें, जैसे https://example.com/robots.txt।
यह robots.txt generator आपके चुने विकल्पों के अनुसार सर्च इंजन और AI bots के नियम लिखता है: ब्लॉक किए गए paths, हर bot के नियम, Crawl-delay और Sitemap। फ़ाइल आपके ब्राउज़र में बनती है।
/admin/ या /*?sort=, और अपवाद अनुमत paths / अपवाद में डालें।/admin/ और दो AI bots को ब्लॉक करने पर यह फ़ाइल बनती है (AI crawlers ब्लॉक करें के साथ AI समूह में सभी ज्ञात AI bots होते हैं)।
User-agent: *Disallow: /admin/User-agent: GPTBotUser-agent: CCBotDisallow: /Sitemap: https://example.com/sitemap.xml
क्या robots.txt किसी पेज को Google से छिपाता है?
नहीं। यह केवल crawling रोकता है; अगर दूसरी साइटें लिंक करती हैं, तो ब्लॉक किया गया URL फिर भी index हो सकता है। किसी पेज को सर्च परिणामों से बाहर रखने के लिए noindex meta tag इस्तेमाल करें।
अगर मैं Googlebot के लिए नियम जोड़ूँ, तो क्या वह * के नियम भी मानेगा?
नहीं। Crawler केवल उससे मेल खाने वाले सबसे विशिष्ट समूह को मानता है, इसलिए टूल आपके ब्लॉक किए गए paths को अनुमत bots के समूह में कॉपी कर देता है।
क्या AI crawlers ब्लॉक करने से मेरी Google ranking पर असर पड़ता है?
नहीं। Google-Extended केवल Gemini और Vertex AI में उपयोग को नियंत्रित करता है; Googlebot सर्च के लिए आपकी साइट crawl करता रहता है।
क्या Google Crawl-delay मानता है?
नहीं। Bing और Yandex इसे मानते हैं, लेकिन Google इस लाइन को अनदेखा करता है।