robots.txt Generator mit 18 KI-Crawlern
Zuletzt aktualisiert:
Der Generator baut eine robots.txt aus wenigen Angaben und zeigt für jeden KI-Crawler der Liste, ob er Ihre Seiten lesen darf. Im zweiten Modus liest er eine vorhandene Datei, meldet Fehler und testet einzelne Adressen gegen die Regeln.
Jeder Klick auf einen Crawler wechselt zwischen erlaubt und gesperrt. Die Spalte Suche entscheidet, ob eine KI-Suche Ihre Seiten als Quelle führen kann: OpenAI schreibt, dass Websites ohne OAI-SearchBot in den Suchantworten von ChatGPT fehlen. Eine Sperre für GPTBot oder ClaudeBot betrifft das Training und lässt die Suche unberührt. Die Crawler der Spalte Nutzer rufen Seiten auf Wunsch einer Person ab. ChatGPT-User, Perplexity-User, Amzn-User und Meta-ExternalFetcher folgen der robots.txt nach Angaben der Anbieter nicht in jedem Fall. Google-Extended und Applebot-Extended crawlen nicht selbst. Es sind Kennungen, über die Sie festlegen, ob Google Inhalte für Gemini und Apple Inhalte für das Training seiner Modelle verwenden darf. Auf die Google-Suche und auf Siri oder Spotlight hat das keinen Einfluss. Meta-ExternalAgent sammelt laut Meta Daten für das Training und für einen eigenen Index, Meta-WebIndexer crawlt für die Suchergebnisse von Meta AI. CCBot gehört zu Common Crawl, einem frei zugänglichen Webarchiv. Zu Bytespider hat ByteDance keine Dokumentation veröffentlicht, die Zuordnung zum Training ist unsere Einschätzung.
Maßstab ist RFC 9309: Es zählt die passende Regel mit dem längsten Pfad, bei gleicher Länge hat Allow Vorrang. Die Datei bittet Crawler um Zurückhaltung, den Zugriff verhindern kann sie nicht.
Rufen Sie https://example.com/robots.txt im Browser auf, markieren Sie den ganzen Text (Strg + A, am Mac Cmd + A) und setzen Sie ihn in das Feld darunter. Eine gespeicherte Datei können Sie auch laden oder auf das Feld ziehen. Die Auswertung läuft vollständig in Ihrem Browser.
Geprüft wird nach RFC 9309. Falsch geschriebene Direktiven wie Dissallow zählt dieses Tool nicht als Regel, denn kein Crawler muss Tippfehler verzeihen. Fehlt für einen Crawler eine eigene Gruppe, gilt die Gruppe für *. Wie bei Google gibt es eine Ausnahme: Googlebot-Image, Googlebot-Video und Googlebot-News reagieren laut Googles Dokumentation auch auf das Token Googlebot und übernehmen dann dessen Gruppe. Von einer robots.txt liest Google nicht mehr als 500 KiB. Ob der Server die Datei wirklich ausliefert, also mit Status 200, ohne Login und ohne Weiterleitung auf eine fremde Domain, zeigt ein Aufruf der Adresse oder ein Blick in die Search Console.
- Erstellen: Eine Datei aus Adresse, Sitemap, gesperrten Pfaden und einer Auswahl an KI-Crawlern.
- KI-Crawler: 18 Crawler von neun Anbietern, getrennt nach Training, Suche und Abruf für Nutzer.
- Prüfen: Eine vorhandene Datei mit Fehlern, Warnungen und dem Stand je KI-Crawler.
- Regeltest: Bis zu 100 URLs gegen die Regeln, ausgewertet nach RFC 9309.
Welche Folgen der robots.txt Generator für KI-Crawler anzeigt
Die Wirkung einer Sperre hängt davon ab, wofür ein Anbieter seinen Crawler einsetzt. Der robots.txt Generator teilt die 18 KI-Crawler deshalb in drei Spalten nach den Angaben der Anbieter. Training, Suche und Abrufe für Nutzer stehen getrennt nebeneinander. So sehen Sie vor dem Speichern, welche Folge eine Einstellung für Ihre Sichtbarkeit in KI-Antworten hat.
Training und Suche getrennt steuern
In der ersten Spalte stehen GPTBot, ClaudeBot und die übrigen Einträge, die das Training von Modellen betreffen. Die Bots der Spalte Suche sammeln Seiten für die Suchergebnisse von KI-Diensten. Nach Angaben von OpenAI zeigt ChatGPT Websites ohne Zugang für OAI-SearchBot nicht in seinen Suchantworten, als Navigationslink können sie aber weiter erscheinen. Bei OpenAI gelten beide Einstellungen unabhängig voneinander, das Training lässt sich also sperren, während die Seiten in der Suche bleiben.
Abrufe für Nutzer
Die dritte Spalte enthält Bots, die eine Seite laden, wenn ein Mensch im Chat danach fragt. Bei ChatGPT-User, Perplexity-User und Meta-ExternalFetcher gilt die robots.txt nach Angaben der Anbieter nicht in jedem Fall. Für Claude-User gibt Anthropic an, dass eine Sperre den Abruf verhindert. Der Generator schreibt die Regel für alle fünf Bots dieser Spalte, doch auf die Wirkung haben Sie nur begrenzt Einfluss.
Die Einstellungen der Spalte Suche gehören zur Generative Engine Optimization, weil sie über die Quellen von KI-Antworten mitentscheiden.
Welche 18 KI-Crawler der robots.txt Generator kennt
Die 18 KI-Crawler stammen von neun Anbietern, und jeder Bot hat im Generator einen eigenen Schalter.
OpenAI und Anthropic
Beide Anbieter führen je drei Bots, und der Generator ordnet sie identisch ein. GPTBot und ClaudeBot sammeln für Modelle, OAI-SearchBot und Claude-SearchBot für die Suche. ChatGPT-User und Claude-User laden Seiten auf Wunsch eines Nutzers. Für jeden der drei Zwecke setzen Sie im Generator eine eigene Regel.
Perplexity und Amazon
PerplexityBot arbeitet für die Suche, Perplexity-User lädt Seiten auf Anfrage. Amazon trennt Amazonbot, der dem Training dienen kann, von Amzn-SearchBot für Sucherlebnisse wie Alexa. Für Abrufe auf Anfrage nutzt Amazon den Crawler Amzn-User. Eine Seite erscheint in der Suche von Perplexity nur, wenn der zuständige Bot zugelassen ist.
Meta
Meta beschreibt Meta-ExternalAgent als Crawler unter anderem für das Training von Modellen. Meta-WebIndexer verbessert die Suchergebnisse von Meta AI. Meta-ExternalFetcher lädt einzelne Links, wenn ein Nutzer das anstößt. Sollen Inhalte nicht ins Training fließen, gehört vor allem Meta-ExternalAgent in die Sperre.
Weitere Einträge der Spalte Training
Mit Google-Extended und Applebot-Extended legen Sie fest, ob bereits gecrawlte Inhalte in Gemini oder in die Modelle von Apple einfließen, einen eigenen Crawler gibt es dafür nicht. Die Google-Suche und die Suchergebnisse bei Apple bleiben davon unberührt. CCBot baut das offene Archiv von Common Crawl. Als 18. Eintrag führt der Generator Bytespider von ByteDance.
robots.txt erstellen in vier Schritten
Im Modus „robots.txt neu anlegen“ entsteht die Datei neben den Eingaben, und jede Änderung erscheint sofort im Ergebnis.
Adresse und Sitemap eintragen
Aus der Adresse der Website und dem Pfad zur Sitemap baut der Generator die Sitemap-Zeile. Ein relativer Pfad wie /sitemap.xml genügt dort nicht, Google verlangt die vollständige Adresse mit Protokoll und Domain. Die Sitemap-Zeile gilt für alle Crawler, unabhängig von den Gruppen. Vor diesem Schritt muss die Sitemap selbst schon erstellt sein.
Ausgangspunkt und Pfade wählen
Mit dem Ausgangspunkt „WordPress“ bleibt /wp-admin/ gesperrt, admin-ajax.php aber erreichbar. Weitere Pfade tragen Sie untereinander ein, je Zeile einen. Ein Schalter sperrt die gesamte Website und ist für Testumgebungen gedacht. Auf einer Live-Website würde er alle Crawler aussperren.
KI-Crawler einstellen
Wählen Sie eine der drei Schnellwahlen oder schalten Sie einzelne Bots um. Eine Kachel oben zählt mit, wie viele der 18 gesperrt sind. Mit „Training sperren“ bleiben Suche und Abrufe für Nutzer offen. Erst „Alles sperren“ schließt auch die KI-Suche aus.
Testen und übernehmen
Der Regeltest beantwortet für eine Adresse, ob ein bestimmter Crawler sie abrufen darf. Danach kopieren Sie die Datei oder sichern sie als robots.txt. Die Datei gehört in das Hauptverzeichnis des Hosts und muss unter /robots.txt erreichbar sein. Für jede Subdomain braucht es eine eigene Datei.
Vorhandene robots.txt prüfen
Der zweite Modus liest eine bestehende Datei. Den Inhalt fügen Sie als Text ein oder laden die robots.txt hoch. Eine Musterdatei enthält zehn typische Befunde zum Ausprobieren.
Fehler und Warnungen
Als Fehler gelten Zeilen ohne Wirkung oder mit Schaden, etwa eine Regel vor der ersten User-agent-Zeile, die Angabe Noindex oder gesperrte CSS- und JavaScript-Dateien. Warnungen betreffen Platzhalter im Namen eines Crawlers, falsch geschriebene Direktiven und Sitemap-Adressen ohne Domain. Das Tool wertet eine Tippfehler-Zeile wie Dissallow nicht als Regel. Vor dem Hochladen beheben Sie alle Fehler, Warnungen prüfen Sie im Einzelfall.
Stand je KI-Crawler und Regeltest
Eine Tabelle hält für jeden der 18 KI-Crawler fest, ob er die Website abrufen darf, ganz ausgeschlossen ist oder nur einzelne Pfade meiden soll. Darunter steht der Aufbau der Datei nach Gruppen. Bis zu 100 Adressen lassen sich im Regeltest gleichzeitig prüfen. Mit „Als Vorlage in den Generator“ übernehmen Sie die Einstellungen der Datei und bauen sie dort um.
Grenzen der Datei nach RFC 9309 und Google
Die Datei steuert nur das Crawling. Vier Regeln aus dem Standard RFC 9309 und aus Googles Dokumentation erklären, warum eine Zeile manchmal anders wirkt als gedacht.
Keine Zugriffskontrolle
Nach RFC 9309 sind die Regeln keine Form der Zugriffskontrolle. Technisch verhindert die Datei keinen Abruf, die Regeln befolgt jeder Crawler freiwillig. Vertrauliche Inhalte brauchen deshalb ein Login. Auch die Datei selbst kann jeder lesen, der /robots.txt aufruft.
Gesperrte Seiten im Index
Google schreibt, dass eine per robots.txt gesperrte Seite trotzdem indexiert werden kann, wenn andere Websites auf sie verlinken. Eine Seite, die nicht in der Suche erscheinen soll, braucht noindex und muss crawlbar bleiben. Sonst sieht Google die Anweisung nie. Erst wenn die Seite aus dem Index verschwunden ist, sperren Sie sie bei Bedarf in der robots.txt.
Die längste Regel gewinnt
Passen mehrere Regeln auf eine Adresse, zählt nach RFC 9309 die mit dem längsten Pfad. Wenn Allow und Disallow gleich lang sind, soll Allow gelten. Für denselben Crawler fasst der Standard mehrere Gruppen zu einer zusammen. Der Regeltest im Tool wertet nach diesem Verfahren aus.
Dateigröße und Statuscodes
Für eine robots.txt setzt Google eine Obergrenze von 500 KiB. Google wertet einen 4xx-Code mit Ausnahme von 429 wie eine fehlende Datei, alle Pfade sind dann frei. Bei 5xx-Fehlern stoppt Google das Crawling der Website zunächst. Abruf und Status der Datei finden Sie in der Search Console in einem eigenen Bericht.
Häufige Fragen zum robots.txt Generator
Das hängt von Ihrem Ziel ab, denn GPTBot sammelt nach Angaben von OpenAI Inhalte für das Training und eine Sperre betrifft nur diese Nutzung. Über die Nennung Ihrer Seiten in der Suche von ChatGPT entscheidet OAI-SearchBot. Für eine Nennung als Quelle bleibt die Spalte Suche offen. Genau diese Einstellung setzt „Training sperren“ mit einem Klick.
Ein Crawler mit eigener Gruppe beachtet nur diese. Die Regeln unter User-agent: * gelten für ihn dann nicht zusätzlich. Der Prüfmodus meldet deshalb, wenn in einer eigenen Gruppe Sperren fehlen, die für alle anderen gelten.
Google unterstützt das Feld nicht und nennt die Statuscodes 500, 503 oder 429 als Weg, das Crawling kurzfristig zu drosseln. Anthropic unterstützt Crawl-delay nach eigenen Angaben. Amazon schreibt, dass seine Crawler Crawl-delay nicht beachten.
Google ignoriert die Angabe Noindex, wenn sie in der robots.txt steht. Der Prüfmodus markiert die Zeile als Fehler und verweist auf das Meta-Tag robots und den Header X-Robots-Tag.
Generator, Prüfung und Regeltest laufen vollständig im Browser. Die eingefügte oder geladene robots.txt bleibt auf Ihrem Gerät, und das Tool ruft Ihre Website nicht ab. Mit einem Aufruf von /robots.txt in Ihrem Browser prüfen Sie, ob der Server die Datei ausliefert.
Philipp Nessmann ist SEO-Berater mit über 20 Jahren Erfahrung und Gründer der Nessmann GmbH (Marken: Contentbär und SEO Agents). Er hat mehr als 1.100 Projekte betreut und mit Jurawelt.com sowie trauringspezialisten.de eigene Plattformen aufgebaut. Sein Schwerpunkt liegt auf technischem SEO und der Sichtbarkeit in KI-Systemen wie ChatGPT, Gemini und Perplexity (GEO). Als Gastautor veröffentlicht er regelmäßig u. a. bei Ahrefs, OMR, GoDaddy, Host Europe, Mittwald und DomainFactory.


