
Upload file vào thư mục gốc của tên miền, ví dụ https://example.com/robots.txt.
/admin/ hoặc /*?sort=, và các ngoại lệ ở ô "Đường dẫn được phép".robots.txt và upload vào thư mục gốc của tên miền.User-agent: * Disallow: /admin/ User-agent: GPTBot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml
robots.txt có ẩn trang khỏi Google không? Không. Nó chỉ ngăn thu thập; URL bị chặn vẫn có thể được index nếu trang khác link tới. Dùng thẻ meta noindex để loại trang khỏi kết quả tìm kiếm.
Thêm quy tắc riêng cho Googlebot thì Googlebot còn theo quy tắc * không? Không. Bot chỉ dùng nhóm cụ thể nhất khớp với nó, vì vậy công cụ chép các đường dẫn bị chặn sang nhóm của bot được phép.
Chặn bot AI có ảnh hưởng thứ hạng Google không? Không. Google-Extended chỉ quyết định việc dùng nội dung cho Gemini; Googlebot vẫn thu thập trang cho tìm kiếm.