+++ Eine der bestrankenden Agenturen im DACH-Raum – und genau so bringen wir Sie nach oben +++

+++ Eine der bestrankenden Agenturen im DACH-Raum +++

Kostenlos und ohne Anmeldung

robots.txt Generator mit 18 KI-Crawlern

Zuletzt aktualisiert:

Der Generator baut eine robots.txt aus wenigen Angaben und zeigt für jeden KI-Crawler der Liste, ob er Ihre Seiten lesen darf. Im zweiten Modus liest er eine vorhandene Datei, meldet Fehler und testet einzelne Adressen gegen die Regeln.

18 KI-Crawler mit eigenem Schalter2 Wege: neu anlegen oder Datei prüfenRFC 9309 als Maßstab im Regeltest
Gesperrte KI-Crawler0 / 18Kein KI-Crawler gesperrt
Basisangaben
KI-Crawler

Jeder Klick auf einen Crawler wechselt zwischen erlaubt und gesperrt. Die Spalte Suche entscheidet, ob eine KI-Suche Ihre Seiten als Quelle führen kann: OpenAI schreibt, dass Websites ohne OAI-SearchBot in den Suchantworten von ChatGPT fehlen. Eine Sperre für GPTBot oder ClaudeBot betrifft das Training und lässt die Suche unberührt. Die Crawler der Spalte Nutzer rufen Seiten auf Wunsch einer Person ab. ChatGPT-User, Perplexity-User, Amzn-User und Meta-ExternalFetcher folgen der robots.txt nach Angaben der Anbieter nicht in jedem Fall. Google-Extended und Applebot-Extended crawlen nicht selbst. Es sind Kennungen, über die Sie festlegen, ob Google Inhalte für Gemini und Apple Inhalte für das Training seiner Modelle verwenden darf. Auf die Google-Suche und auf Siri oder Spotlight hat das keinen Einfluss. Meta-ExternalAgent sammelt laut Meta Daten für das Training und für einen eigenen Index, Meta-WebIndexer crawlt für die Suchergebnisse von Meta AI. CCBot gehört zu Common Crawl, einem frei zugänglichen Webarchiv. Zu Bytespider hat ByteDance keine Dokumentation veröffentlicht, die Zuordnung zum Training ist unsere Einschätzung.

Fertige robots.txt

        
Regeltest

Maßstab ist RFC 9309: Es zählt die passende Regel mit dem längsten Pfad, bei gleicher Länge hat Allow Vorrang. Die Datei bittet Crawler um Zurückhaltung, den Zugriff verhindern kann sie nicht.

Das Wichtigste in Kürze
  • Erstellen: Eine Datei aus Adresse, Sitemap, gesperrten Pfaden und einer Auswahl an KI-Crawlern.
  • KI-Crawler: 18 Crawler von neun Anbietern, getrennt nach Training, Suche und Abruf für Nutzer.
  • Prüfen: Eine vorhandene Datei mit Fehlern, Warnungen und dem Stand je KI-Crawler.
  • Regeltest: Bis zu 100 URLs gegen die Regeln, ausgewertet nach RFC 9309.

Welche Folgen der robots.txt Generator für KI-Crawler anzeigt

Die Wirkung einer Sperre hängt davon ab, wofür ein Anbieter seinen Crawler einsetzt. Der robots.txt Generator teilt die 18 KI-Crawler deshalb in drei Spalten nach den Angaben der Anbieter. Training, Suche und Abrufe für Nutzer stehen getrennt nebeneinander. So sehen Sie vor dem Speichern, welche Folge eine Einstellung für Ihre Sichtbarkeit in KI-Antworten hat.

Training und Suche getrennt steuern

In der ersten Spalte stehen GPTBot, ClaudeBot und die übrigen Einträge, die das Training von Modellen betreffen. Die Bots der Spalte Suche sammeln Seiten für die Suchergebnisse von KI-Diensten. Nach Angaben von OpenAI zeigt ChatGPT Websites ohne Zugang für OAI-SearchBot nicht in seinen Suchantworten, als Navigationslink können sie aber weiter erscheinen. Bei OpenAI gelten beide Einstellungen unabhängig voneinander, das Training lässt sich also sperren, während die Seiten in der Suche bleiben.

Abrufe für Nutzer

Die dritte Spalte enthält Bots, die eine Seite laden, wenn ein Mensch im Chat danach fragt. Bei ChatGPT-User, Perplexity-User und Meta-ExternalFetcher gilt die robots.txt nach Angaben der Anbieter nicht in jedem Fall. Für Claude-User gibt Anthropic an, dass eine Sperre den Abruf verhindert. Der Generator schreibt die Regel für alle fünf Bots dieser Spalte, doch auf die Wirkung haben Sie nur begrenzt Einfluss.

Welche 18 KI-Crawler der robots.txt Generator kennt

Die 18 KI-Crawler stammen von neun Anbietern, und jeder Bot hat im Generator einen eigenen Schalter.

OpenAI und Anthropic

Beide Anbieter führen je drei Bots, und der Generator ordnet sie identisch ein. GPTBot und ClaudeBot sammeln für Modelle, OAI-SearchBot und Claude-SearchBot für die Suche. ChatGPT-User und Claude-User laden Seiten auf Wunsch eines Nutzers. Für jeden der drei Zwecke setzen Sie im Generator eine eigene Regel.

Perplexity und Amazon

PerplexityBot arbeitet für die Suche, Perplexity-User lädt Seiten auf Anfrage. Amazon trennt Amazonbot, der dem Training dienen kann, von Amzn-SearchBot für Sucherlebnisse wie Alexa. Für Abrufe auf Anfrage nutzt Amazon den Crawler Amzn-User. Eine Seite erscheint in der Suche von Perplexity nur, wenn der zuständige Bot zugelassen ist.

Meta

Meta beschreibt Meta-ExternalAgent als Crawler unter anderem für das Training von Modellen. Meta-WebIndexer verbessert die Suchergebnisse von Meta AI. Meta-ExternalFetcher lädt einzelne Links, wenn ein Nutzer das anstößt. Sollen Inhalte nicht ins Training fließen, gehört vor allem Meta-ExternalAgent in die Sperre.

Weitere Einträge der Spalte Training

Mit Google-Extended und Applebot-Extended legen Sie fest, ob bereits gecrawlte Inhalte in Gemini oder in die Modelle von Apple einfließen, einen eigenen Crawler gibt es dafür nicht. Die Google-Suche und die Suchergebnisse bei Apple bleiben davon unberührt. CCBot baut das offene Archiv von Common Crawl. Als 18. Eintrag führt der Generator Bytespider von ByteDance.

robots.txt erstellen in vier Schritten

Im Modus „robots.txt neu anlegen“ entsteht die Datei neben den Eingaben, und jede Änderung erscheint sofort im Ergebnis.

Adresse und Sitemap eintragen

Aus der Adresse der Website und dem Pfad zur Sitemap baut der Generator die Sitemap-Zeile. Ein relativer Pfad wie /sitemap.xml genügt dort nicht, Google verlangt die vollständige Adresse mit Protokoll und Domain. Die Sitemap-Zeile gilt für alle Crawler, unabhängig von den Gruppen. Vor diesem Schritt muss die Sitemap selbst schon erstellt sein.

Ausgangspunkt und Pfade wählen

Mit dem Ausgangspunkt „WordPress“ bleibt /wp-admin/ gesperrt, admin-ajax.php aber erreichbar. Weitere Pfade tragen Sie untereinander ein, je Zeile einen. Ein Schalter sperrt die gesamte Website und ist für Testumgebungen gedacht. Auf einer Live-Website würde er alle Crawler aussperren.

KI-Crawler einstellen

Wählen Sie eine der drei Schnellwahlen oder schalten Sie einzelne Bots um. Eine Kachel oben zählt mit, wie viele der 18 gesperrt sind. Mit „Training sperren“ bleiben Suche und Abrufe für Nutzer offen. Erst „Alles sperren“ schließt auch die KI-Suche aus.

Testen und übernehmen

Der Regeltest beantwortet für eine Adresse, ob ein bestimmter Crawler sie abrufen darf. Danach kopieren Sie die Datei oder sichern sie als robots.txt. Die Datei gehört in das Hauptverzeichnis des Hosts und muss unter /robots.txt erreichbar sein. Für jede Subdomain braucht es eine eigene Datei.

Vorhandene robots.txt prüfen

Der zweite Modus liest eine bestehende Datei. Den Inhalt fügen Sie als Text ein oder laden die robots.txt hoch. Eine Musterdatei enthält zehn typische Befunde zum Ausprobieren.

Fehler und Warnungen

Als Fehler gelten Zeilen ohne Wirkung oder mit Schaden, etwa eine Regel vor der ersten User-agent-Zeile, die Angabe Noindex oder gesperrte CSS- und JavaScript-Dateien. Warnungen betreffen Platzhalter im Namen eines Crawlers, falsch geschriebene Direktiven und Sitemap-Adressen ohne Domain. Das Tool wertet eine Tippfehler-Zeile wie Dissallow nicht als Regel. Vor dem Hochladen beheben Sie alle Fehler, Warnungen prüfen Sie im Einzelfall.

Stand je KI-Crawler und Regeltest

Eine Tabelle hält für jeden der 18 KI-Crawler fest, ob er die Website abrufen darf, ganz ausgeschlossen ist oder nur einzelne Pfade meiden soll. Darunter steht der Aufbau der Datei nach Gruppen. Bis zu 100 Adressen lassen sich im Regeltest gleichzeitig prüfen. Mit „Als Vorlage in den Generator“ übernehmen Sie die Einstellungen der Datei und bauen sie dort um.

Grenzen der Datei nach RFC 9309 und Google

Die Datei steuert nur das Crawling. Vier Regeln aus dem Standard RFC 9309 und aus Googles Dokumentation erklären, warum eine Zeile manchmal anders wirkt als gedacht.

Keine Zugriffskontrolle

Nach RFC 9309 sind die Regeln keine Form der Zugriffskontrolle. Technisch verhindert die Datei keinen Abruf, die Regeln befolgt jeder Crawler freiwillig. Vertrauliche Inhalte brauchen deshalb ein Login. Auch die Datei selbst kann jeder lesen, der /robots.txt aufruft.

Gesperrte Seiten im Index

Google schreibt, dass eine per robots.txt gesperrte Seite trotzdem indexiert werden kann, wenn andere Websites auf sie verlinken. Eine Seite, die nicht in der Suche erscheinen soll, braucht noindex und muss crawlbar bleiben. Sonst sieht Google die Anweisung nie. Erst wenn die Seite aus dem Index verschwunden ist, sperren Sie sie bei Bedarf in der robots.txt.

Die längste Regel gewinnt

Passen mehrere Regeln auf eine Adresse, zählt nach RFC 9309 die mit dem längsten Pfad. Wenn Allow und Disallow gleich lang sind, soll Allow gelten. Für denselben Crawler fasst der Standard mehrere Gruppen zu einer zusammen. Der Regeltest im Tool wertet nach diesem Verfahren aus.

Dateigröße und Statuscodes

Für eine robots.txt setzt Google eine Obergrenze von 500 KiB. Google wertet einen 4xx-Code mit Ausnahme von 429 wie eine fehlende Datei, alle Pfade sind dann frei. Bei 5xx-Fehlern stoppt Google das Crawling der Website zunächst. Abruf und Status der Datei finden Sie in der Search Console in einem eigenen Bericht.

Häufige Fragen zum robots.txt Generator

Das hängt von Ihrem Ziel ab, denn GPTBot sammelt nach Angaben von OpenAI Inhalte für das Training und eine Sperre betrifft nur diese Nutzung. Über die Nennung Ihrer Seiten in der Suche von ChatGPT entscheidet OAI-SearchBot. Für eine Nennung als Quelle bleibt die Spalte Suche offen. Genau diese Einstellung setzt „Training sperren“ mit einem Klick.

Ein Crawler mit eigener Gruppe beachtet nur diese. Die Regeln unter User-agent: * gelten für ihn dann nicht zusätzlich. Der Prüfmodus meldet deshalb, wenn in einer eigenen Gruppe Sperren fehlen, die für alle anderen gelten.

Google unterstützt das Feld nicht und nennt die Statuscodes 500, 503 oder 429 als Weg, das Crawling kurzfristig zu drosseln. Anthropic unterstützt Crawl-delay nach eigenen Angaben. Amazon schreibt, dass seine Crawler Crawl-delay nicht beachten.

Google ignoriert die Angabe Noindex, wenn sie in der robots.txt steht. Der Prüfmodus markiert die Zeile als Fehler und verweist auf das Meta-Tag robots und den Header X-Robots-Tag.

Generator, Prüfung und Regeltest laufen vollständig im Browser. Die eingefügte oder geladene robots.txt bleibt auf Ihrem Gerät, und das Tool ruft Ihre Website nicht ab. Mit einem Aufruf von /robots.txt in Ihrem Browser prüfen Sie, ob der Server die Datei ausliefert.

Philipp Nessmann, SEO-Berater bei SEO Agents
Philipp Nessmann
  • LinkedIn-Profil von Philipp Nessmann
  • YouTube-Kanal von Philipp Nessmann

Experte für SEO, GEO, LLMO & AIO: Wir machen Sie sichtbar bei Google, ChatGPT & Perplexity.

Philipp Nessmann ist SEO-Berater mit über 20 Jahren Erfahrung und Gründer der Nessmann GmbH (Marken: Contentbär und SEO Agents). Er hat mehr als 1.100 Projekte betreut und mit Jurawelt.com sowie trauringspezialisten.de eigene Plattformen aufgebaut. Sein Schwerpunkt liegt auf technischem SEO und der Sichtbarkeit in KI-Systemen wie ChatGPT, Gemini und Perplexity (GEO). Als Gastautor veröffentlicht er regelmäßig u. a. bei Ahrefs, OMR, GoDaddy, Host Europe, Mittwald und DomainFactory.

Nutzen Sie unsere kostenlose Erstanalyse Ihres Webprojekts