search
format_align_left
JSON-Formatierer CSS-Formatierer HTML-Formatierer JavaScript-Formatierer XML-Formatierer SQL-Formatierer Exception-Formatierer Markdown-Vorschau & HTML zu Markdown
data_object
JSON zu Excel/CSV JSON zu TypeScript, C#, Go, Java, Kotlin, Python & Dart JSON ⇄ YAML / TOML Konverter JSON Diff – zwei JSON vergleichen JSON-Viewer & JSONPath-Tester
table_chart
Excel/CSV zu JSON Excel/CSV zu SQL Excel/CSV zu HTML
description
Texte vergleichen Text zu Hex Text zu Base64 Groß-/Kleinschreibung umwandeln Regex-Tester Vietnamesische Akzente entfernen & Slug-Generator Zahl in Worten Wortzähler Zeilen-Tools: Duplikate entfernen, Zeilen sortieren Lorem-Ipsum-Generator
image
Bild konvertieren Bild zu Base64 Konverter Bild komprimieren Bild skalieren & zuschneiden Favicon-Generator Farbpalette aus Bild EXIF-Viewer & -Entferner
qr_code_2
QR-Code-Generator QR-Code-Scanner VietQR-Generator für Banküberweisungen WLAN-QR-Code-Generator vCard-QR-Code-Generator (Visitenkarte) Barcode-Generator (EAN-13, Code 128, Code 39)
lock
Token konvertieren Hash berechnen Passwort-Generator HMAC-Generator (SHA-256, SHA-512) AES verschlüsseln / entschlüsseln online Bcrypt-Hash erzeugen & prüfen SSH-Schlüssel-Generator (Ed25519 / RSA)
schedule
Datum/Uhrzeit umrechnen Zeitzonen-Info Vietnamesischer Mondkalender-Umrechner Altersrechner Datumsrechner Cron-Ausdruck-Parser Countdown-Timer
link
URLs kodieren und dekodieren URL kürzen URL-Parser & UTM-Builder HTTP-Header-Checker
storage
Statistics Parser Statistics Compare SQL INSERT in JSON umwandeln SQL-Tabelle in C#- / TypeScript- / Java-Klasse
travel_explore
Sitemap erstellen robots.txt-Generator Meta-Tag-Generator Open-Graph-Vorschau
terminal
Zahlensystem-Umrechner UUID-, ULID- und NanoID-Generator Chmod-Rechner HTTP-Statuscodes
palette
Farbwähler
help_outline
Über unsDatenschutzerklärungNutzungsbedingungen
THUTOOL
search

robots.txt-Generator

🔒 100 % in Ihrem Browser verarbeitet – Ihre Daten verlassen nie Ihr Gerät
Alle Crawler (User-agent: *)

Bing und Yandex beachten Crawl-delay; Google ignoriert es.

KI-Crawler

Sperrt Bots, die Inhalte für KI-Training oder KI-Antworten sammeln. Suchmaschinen sind nicht betroffen.

GPTBotOpenAI (training)
ChatGPT-UserOpenAI (ChatGPT browsing)
OAI-SearchBotOpenAI (SearchGPT)
ClaudeBotAnthropic
Claude-UserAnthropic (user fetch)
anthropic-aiAnthropic (legacy)
Google-ExtendedGoogle Gemini / Vertex AI
Applebot-ExtendedApple Intelligence
CCBotCommon Crawl
PerplexityBotPerplexity
BytespiderByteDance
AmazonbotAmazon
Meta-ExternalAgentMeta AI
cohere-aiCohere
DiffbotDiffbot
Suchmaschinen-Bots
GooglebotGoogle Search
Googlebot-ImageGoogle Images
BingbotMicrosoft Bing
SlurpYahoo
DuckDuckBotDuckDuckGo
BaiduspiderBaidu
YandexBotYandex
ApplebotApple
coccocbot-webCốc Cốc
YetiNaver
Sitemap

Laden Sie die Datei in das Stammverzeichnis Ihrer Domain hoch, z. B. https://example.com/robots.txt.


So erstellen Sie eine robots.txt-Datei und sperren KI-Crawler

Dieser robots.txt-Generator schreibt die Regeln für Suchmaschinen- und KI-Bots, während Sie Optionen wählen: gesperrte Pfade, Regeln pro Bot, Crawl-delay und Sitemap. Die Datei wird in Ihrem Browser erstellt.

  1. Wählen Sie unter Alle Crawler (User-agent: *) entweder Crawlen erlauben oder Alles sperren.
  2. Geben Sie unter Gesperrte Pfade einen Pfad pro Zeile ein, etwa /admin/ oder /*?sort=, und Ausnahmen unter Erlaubte Pfade / Ausnahmen.
  3. Aktivieren Sie KI-Crawler sperren, um GPTBot, ClaudeBot, CCBot, Google-Extended und andere KI-Bots auszusperren. Sie können auch für jeden Suchmaschinen-Bot Wie *, Erlauben oder Sperren wählen oder mit Hinzufügen einen weiteren User-agent ergänzen.
  4. Tragen Sie Ihre Sitemap-URL unter Sitemap ein. Dann können Sie die Datei mit Kopieren oder Herunterladen übernehmen und ins Stammverzeichnis Ihrer Domain hochladen.

Beispiel

Das Sperren von /admin/ und zwei KI-Bots ergibt diese Datei (mit KI-Crawler sperren listet die KI-Gruppe alle bekannten KI-Bots auf).

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Häufige Fragen

Versteckt robots.txt eine Seite vor Google?
Nein. Sie verhindert nur das Crawlen; eine gesperrte URL kann trotzdem indexiert werden, wenn andere Websites darauf verlinken. Verwenden Sie ein noindex-Meta-Tag, um eine Seite aus den Suchergebnissen herauszuhalten.

Folgt Googlebot noch den *-Regeln, wenn ich eine Regel für ihn hinzufüge?
Nein. Ein Crawler nutzt nur die spezifischste passende Gruppe. Daher kopiert das Tool Ihre gesperrten Pfade in die Gruppe der erlaubten Bots.

Beeinflusst das Sperren von KI-Crawlern mein Google-Ranking?
Nein. Google-Extended steuert nur die Nutzung in Gemini und Vertex AI; Googlebot crawlt Ihre Website weiterhin für die Suche.

Beachtet Google Crawl-delay?
Nein. Bing und Yandex halten sich daran, Google ignoriert die Zeile jedoch.

Ähnliche Tools

  • Sitemap erstellenXML-Sitemap per Crawling Ihrer Website oder aus einer Excel-/CSV-Liste erstellen, mit lastmod, priority, Prüfung defekter Links und Sitemap-Index.
  • Meta-Tag-GeneratorTitle, Meta Description, Canonical, Open-Graph- und Twitter-Card-Tags mit Längenzähler und Vorschau für Google, Facebook und X erzeugen. Kostenlos.
  • Open-Graph-VorschauURL eingeben und sehen, wie sie auf Facebook, Zalo und X aussieht. Prüft og:title, og:image, twitter:card, Canonical und Länge von Title/Description.
  • Excel/CSV zu HTMLExcel- (XLS, XLSX) oder CSV-Dateien in eine saubere HTML-Tabelle zum Kopieren umwandeln. Kostenlos und komplett im Browser verarbeitet.
  • Datum/Uhrzeit umrechnenUnix-Timestamps (Sekunden oder Millisekunden) in lesbare Daten umwandeln und Daten zurück in Timestamps, mit Ausgabe in ISO 8601 und RFC 2822.
  • URLs kodieren und dekodierenBeliebige Zeichenketten online URL-kodieren oder -dekodieren (Prozentkodierung). Kostenlos, sofort und komplett im Browser.
@Erstellt von THUTOOL