
Laden Sie die Datei in das Stammverzeichnis Ihrer Domain hoch, z. B. https://example.com/robots.txt.
Dieser robots.txt-Generator schreibt die Regeln für Suchmaschinen- und KI-Bots, während Sie Optionen wählen: gesperrte Pfade, Regeln pro Bot, Crawl-delay und Sitemap. Die Datei wird in Ihrem Browser erstellt.
/admin/ oder /*?sort=, und Ausnahmen unter Erlaubte Pfade / Ausnahmen.Das Sperren von /admin/ und zwei KI-Bots ergibt diese Datei (mit KI-Crawler sperren listet die KI-Gruppe alle bekannten KI-Bots auf).
User-agent: *Disallow: /admin/User-agent: GPTBotUser-agent: CCBotDisallow: /Sitemap: https://example.com/sitemap.xml
Versteckt robots.txt eine Seite vor Google?
Nein. Sie verhindert nur das Crawlen; eine gesperrte URL kann trotzdem indexiert werden, wenn andere Websites darauf verlinken. Verwenden Sie ein noindex-Meta-Tag, um eine Seite aus den Suchergebnissen herauszuhalten.
Folgt Googlebot noch den *-Regeln, wenn ich eine Regel für ihn hinzufüge?
Nein. Ein Crawler nutzt nur die spezifischste passende Gruppe. Daher kopiert das Tool Ihre gesperrten Pfade in die Gruppe der erlaubten Bots.
Beeinflusst das Sperren von KI-Crawlern mein Google-Ranking?
Nein. Google-Extended steuert nur die Nutzung in Gemini und Vertex AI; Googlebot crawlt Ihre Website weiterhin für die Suche.
Beachtet Google Crawl-delay?
Nein. Bing und Yandex halten sich daran, Google ignoriert die Zeile jedoch.