search
format_align_left
Trình định dạng JSON Trình định dạng CSS Trình định dạng HTML Trình định dạng JavaScript Trình định dạng XML Trình định dạng SQL Trình định dạng Exception Xem trước Markdown & chuyển HTML sang Markdown
data_object
JSON sang Excel/CSV JSON sang TypeScript, C#, Go, Java, Kotlin, Python, Dart Chuyển đổi JSON ⇄ YAML / TOML So sánh JSON (JSON Diff) Xem JSON dạng cây & thử JSONPath
table_chart
Excel/CSV sang JSON Excel/CSV sang SQL Excel/CSV sang HTML
description
So sánh 2 text Text sang Hex Text sang Base64 Chuyển đổi chữ hoa, chữ thường Kiểm tra Regex Bỏ dấu tiếng Việt & tạo slug URL Đếm từ, đếm ký tự Xử lý dòng: xoá trùng, sắp xếp Tạo văn bản Lorem Ipsum
image
Chuyển đổi ảnh Chuyển ảnh sang Base64 Nén ảnh Resize & cắt ảnh Tạo favicon Lấy bảng màu từ ảnh Xem / xoá EXIF ảnh
qr_code_2
Công Cụ Tạo Mã QR Máy quét mã QR Tạo mã QR chuyển khoản VietQR Tạo mã QR WiFi Tạo mã QR danh thiếp (vCard) Tạo mã vạch (EAN-13, Code 128, Code 39)
lock
Định dạng Token Định dạng Hash Tạo password Tạo HMAC (SHA-256, SHA-512) Mã hóa / giải mã AES online Tạo và kiểm tra hash bcrypt
schedule
Chuyển đổi datetime Thông tin múi giờ Đổi ngày âm dương - Lịch âm Việt Nam Tính ngày - Khoảng cách giữa hai ngày Giải thích biểu thức Cron Đếm ngược thời gian
link
Encode và Decode URL Shorten URL Phân tích URL & tạo link UTM Kiểm tra HTTP header
storage
Statistics Parser Statistics Compare Chuyển SQL INSERT sang JSON Chuyển bảng SQL sang class C# / TypeScript / Java
travel_explore
Tạo Sitemap Tạo robots.txt Tạo thẻ meta Xem trước Open Graph
terminal
Chuyển đổi hệ cơ số Tạo UUID / ULID / NanoID Tính quyền chmod Bảng mã trạng thái HTTP
palette
Color Picker
help_outline
Về chúng tôiChính sách bảo mậtĐiều Khoản Dịch Vụ
THUTOOL
search

Tạo robots.txt

🔒 Xử lý 100% trên trình duyệt – dữ liệu không rời khỏi máy của bạn
Mọi bot (User-agent: *)

Bing và Yandex tuân theo Crawl-delay, Google bỏ qua.

Bot AI

Chặn các bot lấy nội dung để huấn luyện hoặc trả lời bằng AI. Không ảnh hưởng tới công cụ tìm kiếm.

GPTBotOpenAI (training)
ChatGPT-UserOpenAI (ChatGPT browsing)
OAI-SearchBotOpenAI (SearchGPT)
ClaudeBotAnthropic
Claude-UserAnthropic (user fetch)
anthropic-aiAnthropic (legacy)
Google-ExtendedGoogle Gemini / Vertex AI
Applebot-ExtendedApple Intelligence
CCBotCommon Crawl
PerplexityBotPerplexity
BytespiderByteDance
AmazonbotAmazon
Meta-ExternalAgentMeta AI
cohere-aiCohere
DiffbotDiffbot
Bot công cụ tìm kiếm
GooglebotGoogle Search
Googlebot-ImageGoogle Images
BingbotMicrosoft Bing
SlurpYahoo
DuckDuckBotDuckDuckGo
BaiduspiderBaidu
YandexBotYandex
ApplebotApple
coccocbot-webCốc Cốc
YetiNaver
Sitemap

Upload file vào thư mục gốc của tên miền, ví dụ https://example.com/robots.txt.


Cách tạo file robots.txt

  1. Chọn quy tắc cho mọi bot: cho phép thu thập (và liệt kê đường dẫn cần chặn) hoặc chặn toàn bộ.
  2. Nhập đường dẫn cần chặn, mỗi dòng một đường dẫn, ví dụ /admin/ hoặc /*?sort=, và các ngoại lệ ở ô "Đường dẫn được phép".
  3. Tick Chặn bot AI để chặn GPTBot, ClaudeBot, CCBot, Google-Extended và các bot AI khác, hoặc đặt quy tắc riêng cho từng bot tìm kiếm.
  4. Thêm URL sitemap, rồi copy hoặc tải robots.txt và upload vào thư mục gốc của tên miền.

Ví dụ

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Câu hỏi thường gặp

robots.txt có ẩn trang khỏi Google không? Không. Nó chỉ ngăn thu thập; URL bị chặn vẫn có thể được index nếu trang khác link tới. Dùng thẻ meta noindex để loại trang khỏi kết quả tìm kiếm.

Thêm quy tắc riêng cho Googlebot thì Googlebot còn theo quy tắc * không? Không. Bot chỉ dùng nhóm cụ thể nhất khớp với nó, vì vậy công cụ chép các đường dẫn bị chặn sang nhóm của bot được phép.

Chặn bot AI có ảnh hưởng thứ hạng Google không? Không. Google-Extended chỉ quyết định việc dùng nội dung cho Gemini; Googlebot vẫn thu thập trang cho tìm kiếm.

Công cụ liên quan

  • Tạo SitemapQuét website và tạo sitemap XML sẵn sàng gửi lên Google Search Console. Công cụ tạo sitemap online miễn phí.
  • Tạo thẻ metaTạo thẻ title, meta description, canonical, Open Graph và Twitter Card, đếm ký tự và xem trước kết quả Google, Facebook, Zalo, X. Miễn phí.
  • Xem trước Open GraphNhập URL để xem link hiển thị thế nào trên Facebook, Zalo, X. Kiểm tra og:title, og:image, twitter:card, canonical, độ dài tiêu đề và mô tả.
  • JSON sang Excel/CSVChuyển JSON sang Excel (XLSX) hoặc CSV online miễn phí. Dán hoặc tải lên JSON và tải về bảng tính sẵn dùng chỉ trong vài giây.
  • Excel/CSV sang JSONChuyển file Excel (XLS, XLSX) hoặc CSV sang JSON ngay lập tức. Miễn phí, file được xử lý trên trình duyệt và không tải lên máy chủ.
  • Chuyển đổi datetimeChuyển Unix timestamp (giây hoặc mili-giây) sang ngày giờ dễ đọc và ngược lại, kèm định dạng ISO 8601 và RFC 2822.
@Tác giả THUTOOL