search
format_align_left
JSON 포맷터 CSS 포맷터 HTML 포맷터 JavaScript 포맷터 XML 포맷터 SQL 포맷터 예외 포맷터 Markdown 미리보기 & HTML → Markdown
data_object
JSON을 Excel/CSV로 JSON을 TypeScript, C#, Go, Java, Kotlin, Python, Dart로 JSON ⇄ YAML / TOML 변환기 JSON Diff – 두 JSON 비교 JSON 뷰어 및 JSONPath 테스트
table_chart
Excel/CSV를 JSON으로 Excel/CSV를 SQL로 Excel/CSV를 HTML로
description
텍스트 비교 텍스트 Hex 변환 텍스트 Base64 변환 대소문자 변환기 정규식 테스트 베트남어 성조 제거 및 슬러그 생성기 숫자를 글자로 변환 글자 수 세기 줄 도구: 중복 제거, 줄 정렬 Lorem Ipsum 생성기
image
이미지 변환 이미지 Base64 변환기 이미지 압축 이미지 크기 조정 및 자르기 파비콘 생성기 이미지 색상 팔레트 추출 EXIF 뷰어 및 제거
qr_code_2
QR 코드 생성기 QR 코드 스캐너 VietQR 계좌이체 QR 생성기 Wi-Fi QR 코드 생성기 vCard QR 코드 생성기(명함) 바코드 생성기(EAN-13, Code 128, Code 39)
lock
토큰 변환 해시 변환 비밀번호 생성 HMAC 생성기 (SHA-256, SHA-512) AES 암호화 / 복호화 온라인 Bcrypt 해시 생성 & 검증 SSH 키 생성기 (Ed25519 / RSA)
schedule
날짜·시간 변환 시간대 정보 베트남 음력 변환기 나이 계산기 날짜 계산기 Cron 표현식 해석기 카운트다운 타이머
link
URL 인코딩 및 디코딩 URL 단축 URL 분석 & UTM 빌더 HTTP 헤더 검사기
storage
Statistics 파서 Statistics 비교 SQL INSERT JSON 변환기 SQL 테이블을 C# / TypeScript / Java 클래스로
travel_explore
사이트맵 만들기 robots.txt 생성기 메타 태그 생성기 Open Graph 미리보기
terminal
진법 변환기 UUID / ULID / NanoID 생성기 Chmod 계산기 HTTP 상태 코드
palette
색상 선택기
help_outline
소개개인정보 처리방침이용약관
THUTOOL
search

robots.txt 생성기

🔒 100% 브라우저에서 처리 – 데이터가 기기 밖으로 나가지 않습니다
모든 크롤러 (User-agent: *)

Bing과 Yandex는 Crawl-delay를 따르지만 Google은 무시합니다.

AI 크롤러

AI 학습이나 AI 답변용으로 콘텐츠를 수집하는 봇을 차단합니다. 검색 엔진에는 영향이 없습니다.

GPTBotOpenAI (training)
ChatGPT-UserOpenAI (ChatGPT browsing)
OAI-SearchBotOpenAI (SearchGPT)
ClaudeBotAnthropic
Claude-UserAnthropic (user fetch)
anthropic-aiAnthropic (legacy)
Google-ExtendedGoogle Gemini / Vertex AI
Applebot-ExtendedApple Intelligence
CCBotCommon Crawl
PerplexityBotPerplexity
BytespiderByteDance
AmazonbotAmazon
Meta-ExternalAgentMeta AI
cohere-aiCohere
DiffbotDiffbot
검색 엔진 봇
GooglebotGoogle Search
Googlebot-ImageGoogle Images
BingbotMicrosoft Bing
SlurpYahoo
DuckDuckBotDuckDuckGo
BaiduspiderBaidu
YandexBotYandex
ApplebotApple
coccocbot-webCốc Cốc
YetiNaver
Sitemap

파일을 도메인 루트에 업로드하세요. 예: https://example.com/robots.txt


robots.txt 파일을 만들고 AI 크롤러를 차단하는 방법

이 robots.txt 생성기는 차단 경로, 봇별 규칙, Crawl-delay, Sitemap 등 선택한 옵션에 따라 검색 엔진 봇과 AI 봇용 규칙을 작성합니다. 파일은 브라우저에서 만들어집니다.

  1. 모든 크롤러 (User-agent: *)에서 크롤링 허용 또는 전체 차단을 선택하세요.
  2. 차단할 경로에 /admin/이나 /*?sort=처럼 한 줄에 하나씩 입력하고, 예외는 허용할 경로 / 예외에 입력하세요.
  3. GPTBot, ClaudeBot, CCBot, Google-Extended 등 AI 봇을 막으려면 AI 크롤러 차단을 체크하세요. 검색 엔진 봇마다 *와 동일, 허용, 차단을 설정하거나, 다른 user-agent를 추가할 수도 있습니다.
  4. Sitemap에 사이트맵 URL을 추가한 뒤 파일을 복사하거나 다운로드하여 도메인 루트에 업로드하세요.

예시

/admin/과 AI 봇 두 개를 차단하면 다음 파일이 만들어집니다(AI 크롤러 차단을 사용하면 AI 그룹에 알려진 모든 AI 봇이 나열됩니다).

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

자주 묻는 질문

robots.txt로 Google에서 페이지를 숨길 수 있나요?
아니요. 크롤링만 막을 뿐이며, 다른 사이트가 링크하면 차단된 URL도 색인될 수 있습니다. 검색 결과에서 제외하려면 noindex 메타 태그를 사용하세요.

Googlebot용 규칙을 추가하면 * 규칙도 계속 따르나요?
아니요. 크롤러는 자신과 일치하는 가장 구체적인 그룹만 사용하므로, 도구가 차단 경로를 허용된 봇의 그룹에 복사해 넣습니다.

AI 크롤러를 차단하면 Google 순위에 영향이 있나요?
아니요. Google-Extended는 Gemini와 Vertex AI에서의 사용만 제어하며, Googlebot은 여전히 검색을 위해 사이트를 크롤링합니다.

Google은 Crawl-delay를 따르나요?
아니요. Bing과 Yandex는 따르지만 Google은 이 줄을 무시합니다.

관련 도구

  • 사이트맵 만들기사이트를 크롤링하거나 Excel / CSV 목록으로 XML 사이트맵을 만드세요. lastmod, priority, 깨진 링크 검사, 사이트맵 인덱스 지원. 무료.
  • 메타 태그 생성기title, meta description, canonical, Open Graph, Twitter Card 태그를 생성하세요. 글자 수 카운터와 Google, Facebook, X 미리보기 제공. 무료.
  • Open Graph 미리보기URL을 입력하면 Facebook, Zalo, X에서 어떻게 보이는지 미리 확인합니다. og:title, og:image, twitter:card, canonical, 제목/설명 길이 검사.
  • Excel/CSV를 HTML로Excel(XLS, XLSX) 또는 CSV 파일을 복사해 붙여넣을 수 있는 깔끔한 HTML 표로 변환합니다. 무료, 전부 브라우저에서 처리됩니다.
  • 날짜·시간 변환Unix 타임스탬프(초 또는 밀리초)를 읽기 쉬운 날짜로, 날짜를 타임스탬프로 변환합니다. ISO 8601 및 RFC 2822 형식 출력.
  • URL 인코딩 및 디코딩모든 문자열을 온라인으로 URL 인코딩 또는 디코딩합니다(퍼센트 인코딩). 무료, 즉시 처리, 전부 브라우저에서 실행됩니다.
@Made by THUTOOL