Zum Inhalt springen

Welche KI-Crawler Ihre Website lesen und wie Sie sie steuern

9 Min. LesezeitStand: Von David, Gründer von Smart2Index
Management-Kurzantwort

Wie steuere ich KI-Bots auf meiner Website?

Die 6 Bots von OpenAI und Anthropic steuern Sie in der robots.txt mit je einer eigenen Regelgruppe, und Training, Suche und Abruf auf Nutzerfrage lassen sich getrennt regeln, wobei Abrufe auf Nutzerauftrag die Regeln nicht immer beachten. Wer OAI-SearchBot sperrt, erscheint nicht in den Suchantworten von ChatGPT; wer Claude-SearchBot oder Claude-User sperrt, kann in Claude an Sichtbarkeit verlieren. Die Trainingsbots GPTBot und ClaudeBot sperren Sie getrennt davon.

  • OpenAI: GPTBot für Training, OAI-SearchBot für Suche, ChatGPT-User für Nutzeraufträge.
  • Anthropic: ClaudeBot für Training, Claude-SearchBot für Suche, Claude-User für Abrufe auf Nutzerfrage.
  • Google-Extended ist ein Token in der robots.txt, kein eigener Crawler.
1 weiterer Punkt
  • Laut OpenAI dauert es für die Suche etwa 24 Stunden, bis Änderungen greifen.
Übersichtskarte zu Schema.org und llms.txt mit den Feldern „JSON-LD validiert“, „AI-Crawler freigegeben“, „Sitemap aktuell“ und dem Punkt Zugriff für OAI-SearchBot und PerplexityBot

Wenn Ihre Käufer ChatGPT oder Perplexity nach Anbietern fragen, hängt es auch am Zugriff der KI-Bots, ob Ihre Seiten gelesen werden können. Das Thema betrifft Geschäftsführung, Marketing und Web-Verantwortliche im Mittelstand. Es geht um die Bots von OpenAI, Anthropic und Google, die Wahl zwischen Training sperren und Suche zulassen, die Einrichtung in der robots.txt und die Rolle der llms.txt.

Auf dieser Seite
  1. Management-Kurzantwort
  2. Was bedeutet crawlen, und wofür rufen KI-Bots Ihre Seiten ab?
  3. Welche Bots von OpenAI, Anthropic und Google gibt es?
  4. Training oder Antwortsuche: Welche Bots dürfen Sie sperren?
  5. So steuern Sie KI-Crawler in der robots.txt Schritt für Schritt
  6. Wie prüfen Sie, ob die Bots Ihre Website erreichen?
  7. Welche Fehler sperren Bots versehentlich aus?
  8. Welche Rolle spielt die llms.txt neben der robots.txt?
  9. Häufige Fragen von Entscheidern

Was bedeutet crawlen, und wofür rufen KI-Bots Ihre Seiten ab?

Crawlen heißt: Ein Programm ruft Webseiten automatisch ab, folgt den Links darin und liest oder speichert den Inhalt. Suchmaschinen tun das seit Langem, und die KI-Anbieter betreiben eigene Bots dafür. Jeder Bot meldet sich beim Abruf mit einem Namen, dem User-Agent. Genau diesen Namen sprechen Sie in der robots.txt an.

Ein KI-Crawler dient je nach Anbieter einem von drei Zwecken:

  • Training: Der Bot sammelt Inhalte, die in künftige Modelle einfließen können (GPTBot, ClaudeBot).
  • Suche: Der Bot macht Seiten für die Suchfunktion eines Assistenten auffindbar (OAI-SearchBot, Claude-SearchBot).
  • Abruf auf Nutzerfrage: Der Bot öffnet eine Seite, weil ein Nutzer gerade danach fragt (ChatGPT-User, Claude-User).

Für Firmen, deren Käufer Anbieter vorab per ChatGPT oder Perplexity eingrenzen, betreffen Suche und Abruf die Antworten, die Käufer heute sehen. Das Training wirkt auf künftige Modelle.

Nicht alle Crawler führen JavaScript aus. Wichtige Inhalte gehören deshalb ins ausgelieferte HTML.

Welche Bots von OpenAI, Anthropic und Google gibt es?

Für ChatGPT und Claude gibt es sechs Bots, die Sie einzeln ansprechen können, dazu bei Google den Token Google-Extended. Die Aufgaben beschreiben die Dokumentation von OpenAI und das Claude Help Center.

AnbieterName in der robots.txtAufgabeWirkung einer Sperre
OpenAIOAI-SearchBotSuche in ChatGPTSeite erscheint nicht in den Suchantworten von ChatGPT
OpenAIGPTBotTrainingInhalte sollen nicht für das Training genutzt werden
OpenAIChatGPT-UserAktionen auf Nutzerauftragrobots.txt-Regeln gelten möglicherweise nicht
AnthropicClaude-SearchBotSuchqualitätkann Sichtbarkeit in Suchantworten verringern
AnthropicClaude-UserAbruf auf Nutzerfragekann Sichtbarkeit bei nutzergesteuerten Websuchen verringern
AnthropicClaudeBotTrainingkünftige Inhalte sollen aus den Trainingsdaten ausgeschlossen werden
GoogleGoogle-ExtendedToken für Gemini-Training und Fundierungkeine Wirkung auf Aufnahme und Ranking in der Google-Suche

Googles eigene Crawler listet Google: Googlebot (Hauptcrawler für den Suchindex), Googlebot-Image, Googlebot-Video, Googlebot-News, Storebot-Google für Google Shopping, Google-InspectionTool für Testwerkzeuge wie die URL-Prüfung in der Search Console und GoogleOther als generischen Crawler mehrerer Produktteams. Google-Extended ist ein Token in der robots.txt, ein eigener Crawler steckt nicht dahinter.

Perplexity setzt zwei Bots ein, die in der Dokumentation von Perplexity beschrieben sind. PerplexityBot zeigt und verlinkt Websites in den Suchergebnissen von Perplexity und sammelt laut Anbieter keine Inhalte für das Training von Basismodellen. Perplexity-User ruft eine Seite ab, wenn ein Nutzer gerade eine Frage stellt, und ignoriert die robots.txt in der Regel, weil der Abruf auf Nutzerwunsch erfolgt. Wer in Antworten von Perplexity vorkommen will, lässt PerplexityBot zu.

Training oder Antwortsuche: Welche Bots dürfen Sie sperren?

Trainingsbots wie GPTBot und ClaudeBot können Sie sperren, ohne die Suchbots zu berühren. OpenAI behandelt die Einstellungen für OAI-SearchBot und GPTBot unabhängig voneinander, und Anthropic beschreibt bei ClaudeBot die Wirkung für künftige Inhalte Ihrer Website.

Ihr ZielZulassenSperren
In Antworten von ChatGPT und Claude vorkommen, Training ausschließenOAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBotGPTBot, ClaudeBot, auf Wunsch Google-Extended
In Antworten vorkommen, Training ist Ihnen gleichalle sechs Bots, dazu PerplexityBotkeinen
Aus KI-Antworten und Training heraushaltenkeinenalle sechs Bots, dazu PerplexityBot und Google-Extended

Die Suchbots zu sperren kann Sichtbarkeit kosten: Wer OAI-SearchBot sperrt, erscheint nicht in den Suchantworten von ChatGPT. Zulassen ist die Voraussetzung für eine Nennung und sichert sie nicht zu. Wie die Plattformen Anbieter auswählen, behandeln die Ratgeber zu ChatGPT und zu Claude und Gemini.

Bei ChatGPT-User gilt eine Einschränkung: Weil ein Nutzer den Abruf auslöst, greifen robots.txt-Regeln laut OpenAI möglicherweise nicht.

So steuern Sie KI-Crawler in der robots.txt Schritt für Schritt

Sie steuern die Bots mit je einer Regelgruppe in der Datei robots.txt im obersten Verzeichnis Ihrer Domain. Für jede Subdomain brauchen Sie eine eigene Datei.

  1. Rufen Sie im Browser Ihre Domain mit angehängtem „/robots.txt“ auf und kopieren Sie den bisherigen Inhalt als Sicherung.
  2. Legen Sie je Bot fest, ob er Zugriff bekommt, und notieren Sie den Namen genau so, wie ihn die Anbieter-Dokumentation schreibt.
  3. Schreiben Sie pro Bot eine Regelgruppe: eine Zeile „User-agent:“ mit dem Namen, darunter „Allow: /“ für Zugriff oder „Disallow: /“ für die Sperre.
  4. Laden Sie die Datei hoch und rufen Sie sie noch einmal im Browser auf. Sie muss ohne Fehlermeldung erscheinen.
  5. Planen Sie Wartezeit ein: Bis die Systeme eine Änderung für die Suche übernehmen, können laut OpenAI etwa 24 Stunden vergehen.

Beispiel für „Training sperren, Suche zulassen“: Regelgruppen für GPTBot und ClaudeBot mit „Disallow: /“, Regelgruppen für OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User und PerplexityBot mit „Allow: /“.

Unsere eigene robots.txt nennt unter anderem Googlebot, Bingbot, GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended und Applebot-Extended mit „Allow: /“ und sperrt nur Formular- und Dankesseiten.

Wie prüfen Sie, ob die Bots Ihre Website erreichen?

Sie prüfen den Zugriff an vier Stellen: in der robots.txt, in den Server-Logs, im ausgelieferten HTML und für Google in der Search Console.

  • robots.txt: Datei im Browser aufrufen und auf die genaue Schreibweise der Namen achten. Ein Tippfehler im Namen macht die Regelgruppe wirkungslos.
  • Server-Logs: Nach GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Claude-User und PerplexityBot suchen und die Antwortcodes ansehen. Der Code 200 heißt: ausgeliefert. Ein Code wie 403 deutet auf eine Sperre durch Server oder Firewall. Fehlende Einträge sind kein Beweis für eine Sperre, denn der Bot war vielleicht noch nicht da. Ob ein Zugriff wirklich von Anthropic stammt, zeigt die Herkunft der IP-Adresse: Steht sie in der von Anthropic veröffentlichten Liste, kommt der Crawler von Anthropic.
  • HTML: Seitenquelltext im Browser anzeigen und prüfen, ob die wichtigen Aussagen darin stehen. Was erst per JavaScript erscheint, sehen nicht alle Bots.
  • Search Console: Der Bericht „Seitenindexierung“ zeigt für den Googlebot Zeilen wie „Wegen Zugriffsverbot (403) blockiert“ oder „Nicht gefunden (404)“. Die Zusammenhänge erklärt der Ratgeber zur Google-Indexierung.

Welche Fehler sperren Bots versehentlich aus?

Fünf Fehler führen dazu, dass ein Bot trotz guter Absicht nicht durchkommt oder nichts Brauchbares findet.

FehlerUrsacheLösung
Alle Bots gesperrt„Disallow: /“ unter „User-agent: *“, etwa aus einer Testumgebung übernommenZeile entfernen und nach jedem Relaunch die Live-Datei öffnen
Bot kommt trotz „Allow: /“ nicht durchFirewall- oder CDN-Regel blockiert unbekannte BotsServer-Logs prüfen, Bot-Regeln der Firewall anpassen
Regelgruppe ohne WirkungName falsch geschrieben oder Datei liegt auf der falschen SubdomainNamen aus der Anbieter-Dokumentation übernehmen, je Subdomain eine Datei
Sperre per IP-AdresseIP-Block statt Regel in der robots.txtLaut Anthropic wirkt eine IP-Sperre womöglich nicht zuverlässig, weil der Bot die robots.txt dann nicht lesen kann; Regel in der robots.txt setzen
Wichtiger Text fehlt im AbrufInhalt wird erst per JavaScript nachgeladenWichtige Inhalte ins ausgelieferte HTML legen

Beim letzten Fehler hilft keine Sonderversion nur für Bots: Besucher und Bots sollen dieselben Inhalte im ausgelieferten HTML finden. Wie technisches SEO und KI-Sichtbarkeit zusammenspielen, zeigt das Vorgehen im Ratgeber.

Welche Rolle spielt die llms.txt neben der robots.txt?

Die llms.txt ist eine Textdatei mit Angaben zu Anbieter, Leistungen und einer Seitenliste. Sie erlaubt und sperrt keinen Zugriff: Zugriffsregeln stehen allein in der robots.txt.

Unsere eigene llms.txt enthält diese Angaben. Sie ergänzt die robots.txt und ersetzt sie nicht: Erst legen Sie in der robots.txt fest, welche Bots Ihre Seiten abrufen dürfen, dann pflegen Sie die llms.txt als Wegweiser für die Inhalte, die gelesen werden sollen.

Eine Nennung in KI-Antworten sichert keine der beiden Dateien zu, auch Schema.org nicht. Die robots.txt entscheidet, was Bots lesen dürfen; ob eine Plattform Ihre Firma dann nennt, liegt bei der Plattform. Eine Schritt-für-Schritt-Anleitung steht im Ratgeber zur llms.txt für die Firmenwebsite.

Häufige Fragen von Entscheidern

Für welche KI-Plattformen braucht die robots.txt Regeln?

Regeln braucht die robots.txt für die Plattformen, über die Ihre Käufer Anbieter suchen, meist ChatGPT, Claude, Perplexity, Gemini und die Google AI Overviews. ChatGPT und Claude sprechen Sie über die Bots von OpenAI und Anthropic an, Perplexity über PerplexityBot. Das Gemini-Training steuert der Token Google-Extended. Die Google AI Overviews gehören zur Google-Suche und damit zum Googlebot. Microsoft Copilot nutzt den Index von Bing, den der Bingbot aufbaut.

Verschwinde ich aus den Google AI Overviews, wenn ich Google-Extended sperre?

Nein, laut Google hat Google-Extended keinen Einfluss auf Aufnahme und Ranking in der Google-Suche, zu der die AI Overviews gehören. Der Token regelt nur, ob Inhalte für das Training von Gemini und die Fundierung in Gemini-Apps und Vertex AI genutzt werden. Wer eine Seite ganz aus der Google-Suche heraushalten will, braucht eine Regel für den Googlebot oder ein noindex und verliert damit auch die normalen Suchtreffer.

Muss ich KI-Bots überhaupt zulassen?

Nein, Sie müssen keinen Bot zulassen, aber gesperrte Suchbots können Sichtbarkeit kosten: Wer OAI-SearchBot sperrt, erscheint nicht in den Suchantworten von ChatGPT. Entscheiden Sie anhand Ihrer Käuferfragen. Lassen Sie messen, ob ChatGPT, Perplexity, Gemini, Claude und Google AI Overviews Ihre Firma bei diesen Fragen heute nennen, und sperren Sie danach nur, was Sie bewusst nicht wollen.

Hilft Crawl-delay gegen zu viele Anfragen von KI-Bots?

Bei Anthropic ja: Dort ist die nicht standardisierte Crawl-delay-Erweiterung unterstützt, etwa mit „User-agent: ClaudeBot“ und „Crawl-delay: 1“. Ob andere Bots die Angabe auswerten, steht in der Dokumentation des jeweiligen Anbieters. Prüfen Sie das dort, bevor Sie sich darauf verlassen, und beobachten Sie die Last danach in den Server-Logs.

Kann ich Bots nur für einzelne Bereiche meiner Website sperren?

Ja, statt „Disallow: /“ tragen Sie unter dem Namen des Bots nur den Pfad ein, zum Beispiel „Disallow: /danke“. So sperren wir in unserer eigenen robots.txt nur Formular- und Dankesseiten. Der Rest der Website bleibt für Such- und KI-Bots lesbar.

Nach der robots.txt prüfen, ob KI-Assistenten Ihre Firma nennen

Tragen Sie eine Käuferfrage und Ihre Domain ein. Wir fragen ChatGPT, Perplexity, Gemini, Claude und Google AI, und das Ergebnis kommt innerhalb eines Werktags per E-Mail. Kostenlosen KI-Check starten.