Warum ist „erlauben oder blockieren“ die falsche Frage für KI-Crawler?
Die sinnvolle Frage lautet, was jeder Crawler mit Ihren Inhalten macht. Manche KI-Crawler sammeln Material, das möglicherweise zum Training von Modellen verwendet wird. Andere rufen Seiten ab, damit ein Assistent sie durchsuchen, lesen und zitieren kann, wenn ein Nutzer eine Frage stellt. Beides als eine Kategorie zu behandeln erzwingt einen Zielkonflikt, der so gar nicht bestehen muss.
Für ein B2B-Team sind die Kosten einer zu weitreichenden Sperrung meist höher als die Kosten eines Zugriffs für die Suche. Wenn Ihre Produktseiten, Vergleichsseiten und Dokumentationen für Antwortmaschinen unsichtbar sind, werden Käufer, die Assistenten nach Anbieter-Shortlists fragen, Ihre Marke nie sehen. Ziel ist es, Crawler für Crawler zu entscheiden, welchen Zweck Sie akzeptieren.
Ein praktikables Framework besteht aus drei Ebenen: Zugriff für Training, Zugriff für Suche und Zitierung sowie nutzerinitiierter Abruf. Formulieren Sie pro Ebene eine Entscheidung und setzen Sie sie anschließend in der robots.txt um. Überprüfen Sie die Entscheidungen, wenn Anbieter ihre Dokumentation aktualisieren, denn Crawler-Namen und ihr Verhalten können sich ändern.
Was sind GPTBot, OAI-SearchBot und ChatGPT-User, und welche sollten Sie zulassen?
GPTBot ist der Crawler von OpenAI, der mit der Sammlung von Trainingsdaten in Verbindung gebracht wird. OAI-SearchBot gehört zur ChatGPT-Suche und indexiert daher Inhalte, die in Suchantworten erscheinen können. ChatGPT-User wird verwendet, wenn eine Person ChatGPT während eines Gesprächs bittet, eine Seite zu öffnen. Jeder hat einen anderen Zweck und wird laut der Crawler-Dokumentation von OpenAI jeweils unterschiedlich gesteuert.
Eine übliche Entscheidung für B2B-Marken ist, GPTBot zu sperren, OAI-SearchBot zuzulassen und ChatGPT-User als nutzerinitiierte Anfrage zu behandeln. Prüfen Sie die aktuelle Dokumentation von OpenAI, bevor Sie die Regeln festlegen, denn die Details, wie die einzelnen Agenten robots.txt auswerten, gehören zu den Dingen, die Anbieter überarbeiten.
| Crawler | Hauptzweck | Typische Entscheidung für eine B2B-Website | Was Blockieren bewirkt |
|---|---|---|---|
| GPTBot | Sammlung von Trainingsdaten | Sperren, wenn Sie dem Training widersprechen | Stoppt die Sammlung für das Training; entfernt allein nicht die Sichtbarkeit in der Suche |
| OAI-SearchBot | Indexierung für die ChatGPT-Suche | Zulassen, wenn Sie Zitierungen wünschen | Blockieren kann dazu führen, dass Ihre Seiten nicht in den ChatGPT-Suchergebnissen erscheinen |
| ChatGPT-User | Abruf einer Seite auf Wunsch des Nutzers | Meist eine Produktentscheidung, keine Trainingsentscheidung | Wird möglicherweise nicht auf dieselbe Weise durch robots.txt gesteuert wie Crawler |
Beeinflusst das Blockieren von Google-Extended die Google-Suche oder die KI-Übersichten?
Das Blockieren von Google-Extended entfernt Ihre Seiten nicht aus der regulären Google-Suche, und laut Googles Dokumentation wirkt es sich auch nicht auf die Aufnahme in die KI-Übersichten aus. Google-Extended ist ein Token in der robots.txt, das steuert, ob von Google gecrawlte Inhalte für das Training der Gemini-Modelle und für bestimmte Grounding-Zwecke verwendet werden dürfen. Es handelt sich nicht um einen eigenen Crawler, der Ihre Seiten abruft.
Das Risiko besteht darin, es mit Googlebot zu verwechseln. Wenn Sie Googlebot sperren, verschwinden Ihre Seiten aus der Suche und aus KI-Funktionen, die auf der Suche aufbauen. Das Sperren von Google-Extended signalisiert lediglich, dass Ihre Inhalte nicht für das Training von Gemini und verwandte Zwecke genutzt werden sollen.
Bevor Sie etwas ändern, prüfen Sie Ihre Googlebot-Regeln ausdrücklich. Eine weit gefasste Disallow-Regel für alle User-Agents, aus einer alten Vorlage kopiert, ist der häufigste Grund dafür, dass eine Website aus Google verschwindet, obwohl das Team nur das KI-Training ausschließen wollte.
Wie schreiben Sie robots.txt-Regeln, die Zitierung erlauben, aber das Training ausschließen?
Legen Sie für jeden KI-Crawler, den Sie steuern möchten, eine eigene User-agent-Gruppe an, und behalten Sie die Gruppen für Googlebot und Bingbot für die normale Suche bei. Regeln werden pro Gruppe abgeglichen, daher beeinflusst ein Disallow unter GPTBot nicht OAI-SearchBot. Legen Sie die Datei im Stammverzeichnis jedes Hostnamens ab, denn robots.txt-Regeln gelten nicht automatisch für Subdomains.
Die folgenden Regeln sind ein Ausgangsmuster für ein Team, das das Training ausschließen, aber trotzdem zitiert werden möchte. Passen Sie sie an Ihre eigene Haltung zum Training an, und kopieren Sie sie nicht ungeprüft, ohne zu überlegen, welche Pfade Sie tatsächlich schützen möchten.
- User-agent: GPTBot / Disallow: /
- User-agent: Google-Extended / Disallow: /
- User-agent: OAI-SearchBot / Allow: /
- User-agent: PerplexityBot / Allow: /
- User-agent: Googlebot / Allow: /
- User-agent: * / Disallow: /account/ and /staging/
- Prüfen Sie Ihre aktuelle robots.txt und notieren Sie alle weit gefassten Regeln unter dem User-Agent mit Sternchen, da diese auch für KI-Crawler gelten.
- Fügen Sie eine Gruppe für GPTBot mit Disallow: / hinzu, wenn Sie das Training durch OpenAI ausschließen möchten.
- Fügen Sie eine Gruppe für Google-Extended mit Disallow: / hinzu, wenn Sie das Training von Gemini ausschließen möchten. Lassen Sie Googlebot uneingeschränkt.
- Fügen Sie eine Gruppe für OAI-SearchBot und PerplexityBot mit Allow: / hinzu, damit deren Suchzugriff ausdrücklich erlaubt ist.
- Schützen Sie private Pfade wie Kontobereiche, Staging-Ordner und interne Suchergebnisse mit Disallow-Regeln, die für alle Agenten gelten.
- Testen Sie die Datei in Ihren Search-Console-Tools und in einem robots.txt-Testwerkzeug, dann veröffentlichen Sie sie und prüfen Sie sie nach jedem Website-Release erneut.
Welche KI-Crawler respektieren die robots.txt, und welche womöglich nicht?
Große KI-Anbieter, die eine Crawler-Dokumentation veröffentlichen, erklären in der Regel, dass ihre deklarierten Crawler die robots.txt beachten. Diese Aussagen sind der Ausgangspunkt, sie sind aber Zusagen und keine Garantien. Den genauen Wortlaut sollte man in der jeweiligen Dokumentation des Anbieters prüfen.
Die robots.txt ist eine Empfehlung. Sie funktioniert, weil seriöse Crawler sich dafür entscheiden, sie auszulesen. Manche vom Nutzer ausgelösten Abrufe und manche Anfragen über Drittanbieter-Tools folgen womöglich nicht denselben Regeln. Außerdem gibt es Berichte unabhängiger Dritter, nach denen bestimmte Antwortmaschinen Inhalte mit User-Agent-Kennungen abgerufen haben sollen, die nicht ihren angegebenen Namen entsprachen. Behandeln Sie jede User-Agent-Zeichenkette als Behauptung, bis Sie sie überprüft haben.
Wenn Sie Regeln durchsetzen müssen, reicht die robots.txt allein nicht aus. Nutzen Sie für private Inhalte eine Authentifizierung, für missbräuchlichen Traffic Ratenbegrenzungen oder eine Web Application Firewall, und machen Sie sich intern ehrlich klar: Eine veröffentlichte Regel ist ein Signal, kein Schloss.
Wie prüfen Sie, ob eine Anfrage von PerplexityBot oder GPTBot echt ist?
Die Verifizierung bedeutet, zu prüfen, ob die Anfrage von einer IP-Adresse stammt, die zum angegebenen Anbieter gehört. Eine User-Agent-Zeichenkette lässt sich leicht kopieren und beweist deshalb für sich allein nichts. Große Anbieter, die eigene Crawler betreiben, haben IP-Bereichslisten veröffentlicht, und Google dokumentiert, wie sich Googlebot über einen Reverse-DNS-Lookup mit anschließendem Forward-Lookup verifizieren lässt.
Die Prüfung lässt sich einfach über eine Shell oder ein Log-Analyse-Tool durchführen. Vergleichen Sie die IP-Adressen in Ihren Logs mit der veröffentlichten Liste des Anbieters, und behandeln Sie jede Anfrage, die einen Namen angibt, aber von außerhalb dieser Bereiche kommt, als nicht verifiziert. Halten Sie fest, an welchem Datum Sie die jeweilige Liste abgerufen haben, denn die Bereiche ändern sich.
- Filtern Sie aus Ihren Server-Logs die Anfragen heraus, deren User-Agent GPTBot, OAI-SearchBot, PerplexityBot, Perplexity-User oder Googlebot enthält.
- Sammeln Sie für jeden angegebenen Namen die eindeutigen Quell-IP-Adressen.
- Prüfen Sie bei jedem Anbieter, der Bereiche veröffentlicht, ob die IP innerhalb der gelisteten Bereiche liegt.
- Führen Sie bei Googlebot einen Reverse-DNS-Lookup für die IP durch und bestätigen Sie, dass der Hostname zu Google gehört. Anschließend führen Sie einen Forward-Lookup durch, um zu bestätigen, dass er auf dieselbe IP zurückführt.
- Kennzeichnen Sie jede Quelle als verifiziert, nicht verifiziert oder ohne veröffentlichte Liste, und vertrauen Sie Crawl-Zahlen nur aus verifizierten Quellen.
- Wiederholen Sie die Prüfung monatlich, da im Laufe der Zeit neue IP-Adressen und neue User-Agents auftauchen.
Wie prüfen Sie in den Server-Logs, ob KI-Crawler Ihre wichtigsten B2B-Seiten erreichen?
Server-Logs zeigen, welche Seiten Crawler angefragt haben, wann dies geschah und welchen Statuscode Ihr Server zurückgegeben hat. Filtern Sie bei einer B2B-Website diese Anfragen auf die Seiten, die Pipeline erzeugen, etwa Produkt-, Preis-, Integrations-, Sicherheits- und Vergleichsseiten, und prüfen Sie, ob KI-Crawler sie erreichen. Ein Crawler, der eine wichtige Seite nie aufruft, kann sie nicht für Zitierungen nutzen, egal was Ihre robots.txt vorsieht.
Achten Sie auf drei Punkte: welche KI-User-Agents auftauchen, welche URL-Pfade sie anfragen und ob diese Anfragen mit dem Status 200 beantwortet werden. Häufige Antworten mit 403, 404 oder 5xx an verifizierte KI-Crawler deuten auf Zugriffsprobleme hin, etwa eine Firewall-Regel oder ein defektes Template, und nicht auf eine Entscheidung in der robots.txt.
- Exportieren Sie die rohen Zugriffslogs für mindestens einen repräsentativen Zeitraum und prüfen Sie die Zeitzone.
- Filtern Sie nach KI-User-Agents und trennen Sie verifizierte von nicht verifizierten Anfragen nach der oben beschriebenen Methode.
- Zählen Sie die Anfragen pro URL-Pfad und gruppieren Sie nach Seitentyp, etwa Produkt, Artikel, Dokumentation und Rechtliches.
- Prüfen Sie die Statuscodes, die jedem verifizierten Crawler ausgegeben wurden, und beheben Sie jedes 4xx- oder 5xx-Muster.
- Vergleichen Sie die angefragten Pfade mit den Seiten, die Sie zitiert sehen möchten, und verknüpfen Sie die Lücken mit Ihrer internen Verlinkung und Ihrer Sitemap.
- Dokumentieren Sie die Ergebnisse, damit Sie sie nach jeder Änderung an der robots.txt oder der Seitenstruktur vergleichen können.
Wo Rixe ins Spiel kommt
Die manuelle Log-Auswertung eignet sich für ein erstes Audit, zeigt aber nicht, wie Antwortmaschinen Ihre Marke bei den Fragen beschreiben, die Käufer stellen. Eine KI-Sichtbarkeitsplattform wie Rixe misst, wie Assistenten eine Marke für eine Reihe von Prompts erwähnen und zitieren. So lässt sich prüfen, ob der Crawler-Zugriff tatsächlich in Sichtbarkeit umgesetzt wird.