
파일을 도메인 루트에 업로드하세요. 예: https://example.com/robots.txt
이 robots.txt 생성기는 차단 경로, 봇별 규칙, Crawl-delay, Sitemap 등 선택한 옵션에 따라 검색 엔진 봇과 AI 봇용 규칙을 작성합니다. 파일은 브라우저에서 만들어집니다.
/admin/이나 /*?sort=처럼 한 줄에 하나씩 입력하고, 예외는 허용할 경로 / 예외에 입력하세요./admin/과 AI 봇 두 개를 차단하면 다음 파일이 만들어집니다(AI 크롤러 차단을 사용하면 AI 그룹에 알려진 모든 AI 봇이 나열됩니다).
User-agent: *Disallow: /admin/User-agent: GPTBotUser-agent: CCBotDisallow: /Sitemap: https://example.com/sitemap.xml
robots.txt로 Google에서 페이지를 숨길 수 있나요?
아니요. 크롤링만 막을 뿐이며, 다른 사이트가 링크하면 차단된 URL도 색인될 수 있습니다. 검색 결과에서 제외하려면 noindex 메타 태그를 사용하세요.
Googlebot용 규칙을 추가하면 * 규칙도 계속 따르나요?
아니요. 크롤러는 자신과 일치하는 가장 구체적인 그룹만 사용하므로, 도구가 차단 경로를 허용된 봇의 그룹에 복사해 넣습니다.
AI 크롤러를 차단하면 Google 순위에 영향이 있나요?
아니요. Google-Extended는 Gemini와 Vertex AI에서의 사용만 제어하며, Googlebot은 여전히 검색을 위해 사이트를 크롤링합니다.
Google은 Crawl-delay를 따르나요?
아니요. Bing과 Yandex는 따르지만 Google은 이 줄을 무시합니다.