KI-Crawler und robots.txt richtig konfigurieren

Warum entscheidet die robots.txt über Ihre KI-Sichtbarkeit?

KI-Crawler sind Programme, die Websites für KI-Systeme abrufen. Sie sammeln entweder Trainingsdaten für neue Modelle, füllen Suchindexe für KI-Antworten oder holen Seiten live, wenn eine Person danach fragt. Die robots.txt – eine Textdatei im Hauptverzeichnis der Website – sagt jedem dieser Bots, was er lesen darf. Wer dort die falschen Bots aussperrt, verschwindet aus der ChatGPT-Suche, aus Perplexity oder aus Claude, ohne es zu merken.

Damit ist die robots.txt der erste Hebel jeder GEO-Strategie. GEO steht für Generative Engine Optimization, die Optimierung für KI-Antwortsysteme – die Grundlagen erklärt unser Ratgeber Was ist GEO?. SEO bleibt dabei das Fundament: Eine Seite, die Googlebot nicht erreicht, hat auch in KI-Antworten keine Chance.

Wie gross ist der Kanal, über den Sie hier entscheiden?

Die Reichweite der KI-Assistenten ist inzwischen Massenmarkt. ChatGPT zählte im Februar 2026 rund 900 Millionen wöchentlich aktive Nutzerinnen und Nutzer, Google AI Overviews erreichten bereits Mitte 2025 über 2 Milliarden Menschen pro Monat. Perplexity verarbeitete im Mai 2025 rund 780 Millionen Anfragen in einem Monat. Jede dieser Antworten stützt sich auf Quellen – oder eben nicht auf Ihre.

Die Zahlen stammen aus Berichten von TechCrunch zu ChatGPT, Digiday zu AI Overviews und TechCrunch zu Perplexity. Ob sich der Aufwand für Ihre Branche lohnt, klärt ein GEO-Check in wenigen Tagen.

Welche Bots besuchen Ihre Website – und was macht jeder davon?

Die folgende Tabelle zeigt die zehn wichtigsten Crawler mit Betreiber, Zweck und der Folge einer Blockade. Merken Sie sich die Dreiteilung: Training, Suche und Live-Abruf. Sie ist der Schlüssel für jede Entscheidung in der robots.txt.

Bot	Betreiber	Zweck	Folge einer Blockade
Googlebot	Google	Suche: Index der klassischen Google-Suche, zugleich Basis für AI Overviews und AI Mode.	Totalausfall: Die Website verschwindet aus der Google-Suche und allen KI-Features.
Google-Extended	Google	Training: Steuerungstoken für Gemini-Training und Grounding, kein eigener Crawler.	Inhalte fliessen nicht ins Gemini-Training. Google-Suche und Ranking bleiben unberührt.
Bingbot	Microsoft	Suche: Bing-Index, zugleich Grundlage für Copilot-Antworten.	Verlust der Bing-Sichtbarkeit und der darauf gestützten Copilot-Zitate.
GPTBot	OpenAI	Training: sammelt Inhalte für künftige KI-Modelle.	Inhalte fliessen nicht ins Modelltraining. Die ChatGPT-Suche ist nicht betroffen.
OAI-SearchBot	OpenAI	Suche: baut den Index der ChatGPT-Suche auf, kein Training.	Die Website erscheint nicht als Quelle in Antworten der ChatGPT-Suche.
ChatGPT-User	OpenAI	Live-Abruf: holt Seiten, wenn Nutzende sie in ChatGPT anfordern.	Nutzende können Ihre Seiten in ChatGPT nicht öffnen oder zusammenfassen lassen.
PerplexityBot	Perplexity	Suche: indexiert Websites für Perplexity-Antworten, kein Training.	Keine Zitate und keine Quellenlinks in Perplexity-Antworten.
Perplexity-User	Perplexity	Live-Abruf bei konkreten Nutzerfragen; ignoriert robots.txt in der Regel.	Eine robots.txt-Blockade ist meist wirkungslos. Nur Server- oder Firewall-Regeln greifen.
ClaudeBot	Anthropic	Training: sammelt Inhalte für das Training der Claude-Modelle.	Inhalte fliessen nicht ins Training. Die Claude-Suche ist nicht betroffen.
Claude-SearchBot	Anthropic	Suche: indexiert Inhalte zur Verbesserung der Claude-Suchergebnisse.	Keine Zitate in Suchantworten von Claude.

Anthropic betreibt zusätzlich Claude-User für Live-Abrufe; die IP-Adressen aller drei Claude-Crawler sind unter claude.com/crawling/bots.json publiziert. Die Angaben stammen aus den offiziellen Dokumentationen von OpenAI, Perplexity und Anthropic.

Training-Bots und Such-Bots: Entscheiden Sie getrennt

Der häufigste Denkfehler ist, alle KI-Bots als eine Gruppe zu behandeln. Training-Bots wie GPTBot, ClaudeBot und das Steuerungstoken Google-Extended sammeln Inhalte für künftige Modelle – ihre Blockade kostet keine Sichtbarkeit in der KI-Suche. Such-Bots wie OAI-SearchBot, PerplexityBot und Claude-SearchBot entscheiden dagegen direkt, ob Ihre Website als Quelle zitiert wird. Wer sichtbar sein will, muss die Such-Bots erlauben.

OpenAI dokumentiert diese Trennung ausdrücklich: GPTBot lässt sich blockieren, während OAI-SearchBot weiterhin für die ChatGPT-Suche indexiert. Auch Google stellt klar, dass eine Blockade von Google-Extended weder die Google-Suche noch das Ranking beeinflusst. Ein Schreinereibetrieb in Wetzikon kann also seine Anleitungen vor dem Modelltraining schützen und trotzdem in der ChatGPT-Suche als Quelle erscheinen.

Die dritte Gruppe sind Live-Abruf-Bots wie ChatGPT-User und Perplexity-User. Sie werden aktiv, wenn eine Person eine konkrete Seite anfragt. Perplexity-User ignoriert robots.txt-Regeln dabei in der Regel – eine Blockade dort wirkt nur über Server- oder Firewall-Regeln.

Wie sieht eine sinnvolle robots.txt-Konfiguration aus?

Die Empfehlung für die meisten Schweizer KMU: alle Such-Bots und den Live-Abruf erlauben, beim Training bewusst entscheiden. Das folgende Beispiel setzt genau das um und blockiert das Training – wer Trainingsnutzung akzeptiert, ersetzt die Disallow-Zeilen durch Allow.

# Such-Bots erlauben – sie entscheiden über KI-Zitate
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Live-Abruf durch Nutzerinnen und Nutzer erlauben
User-agent: ChatGPT-User
Allow: /

# Training: eigene Abwägung – hier beispielhaft blockiert
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Alle übrigen Crawler
User-agent: *
Allow: /

Sitemap: https://www.ihre-domain.ch/sitemap.xml

Wichtig zur Einordnung: Die Trainingsfrage ist eine Abwägung zwischen Datenschutz und Reichweite, keine Sichtbarkeitsfrage. Es gibt keinen Beleg, dass erlaubtes Training die Zitierchancen erhöht. Eine llms.txt ersetzt diese Konfiguration nicht – sie ist ein Experiment ohne bestätigte Nutzung, wie unser Ratgeber llms.txt ehrlich eingeordnet zeigt.

Welche Fehler passieren am häufigsten?

In der Praxis scheitert der Crawler-Zugang selten an böser Absicht, sondern an vier wiederkehrenden Fehlern:

Pauschales Disallow: Eine einzige Regel wie «User-agent: * Disallow: /» – etwa aus der Staging-Umgebung übernommen – sperrt alle Bots aus, auch Googlebot. Das ist der teuerste Fehler überhaupt.
Falscher Bot blockiert: Wer die ChatGPT-Suche meiden will, aber nur GPTBot blockiert, erreicht das Gegenteil des Gewünschten. Umgekehrt sperrt manche Website OAI-SearchBot aus, obwohl sie nur das Training verhindern wollte.
Firewall oder CDN blockiert unbemerkt: Sicherheitsdienste wie Cloudflare bieten Schalter, die KI-Crawler pauschal aussperren – teils standardmässig aktiv. Die robots.txt sieht dann korrekt aus, aber die Bots erhalten Fehlercode 403. Prüfen Sie bei Cloudflare die Bereiche Security, Bots und AI Crawl Control.
robots.txt technisch defekt: Liefert die Datei einen Fehlerstatus, eine Weiterleitungskette oder HTML statt Text, interpretieren Bots sie unterschiedlich. Die Datei muss unter ihre-domain.ch/robots.txt mit Status 200 erreichbar sein.
Subdomains vergessen: Jede Subdomain braucht ihre eigene robots.txt. Wer den Shop unter shop.ihre-domain.ch auf einer anderen Plattform betreibt, muss die Such-Bots dort separat freischalten – sonst fehlt genau der umsatzrelevante Teil in den KI-Antworten.

Das JavaScript-Problem: Inhalte gehören ins initiale HTML

Ein erlaubter Crawler nützt nichts, wenn er eine leere Seite sieht. Viele KI-Crawler führen kein JavaScript aus – anders als Googlebot rendern sie die Seite nicht, sondern lesen nur das erste ausgelieferte HTML. Rein clientseitig aufgebaute Seiten, etwa reine React- oder Vue-Apps ohne Server-Rendering, bleiben für diese Bots inhaltsleer.

Der Test ist einfach: Rufen Sie Ihre Seite mit deaktiviertem JavaScript auf oder öffnen Sie den Quelltext im Browser. Steht der Kerninhalt dort nicht im Klartext, braucht die Website Server-Side-Rendering oder statisch generierte Seiten. Wie zitierfähige Inhalte danach aussehen sollten, beschreibt unser Leitfaden zitierfähige Inhalte schreiben.

Wie prüfen Sie Crawler-Zugriffe in den Server-Logs?

Die Server-Logs sind die einzige verlässliche Quelle, denn KI-Crawler tauchen in GA4 nicht auf – sie führen kein Analytics-JavaScript aus. Filtern Sie das Zugriffsprotokoll nach den User-Agent-Kennungen GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot und Claude-SearchBot. So sehen Sie, welcher Bot wann welche Seiten abruft und welchen Statuscode er erhält. Bei Schweizer Hostern wie Hostpoint, Infomaniak oder cyon finden Sie die Zugriffsprotokolle im Kundencenter oder per Log-Download.

Achtung vor Fälschungen: Manche Scraper tarnen sich mit fremden Bot-Namen. OpenAI und Anthropic publizieren deshalb die offiziellen IP-Bereiche ihrer Crawler; ein Abgleich entlarvt Nachahmer. Viele 403-Antworten an echte Bots deuten auf eine Firewall-Blockade hin – dann liegt das Problem nicht in der robots.txt.

Schritt für Schritt: So prüfen Sie Ihre Website in 30 Minuten

robots.txt abrufen: Öffnen Sie ihre-domain.ch/robots.txt im Browser. Die Datei muss mit Status 200 als Klartext erscheinen, ohne Weiterleitung.
Regeln lesen: Suchen Sie nach Disallow-Zeilen für OAI-SearchBot, PerplexityBot, Claude-SearchBot und Bingbot. Diese vier dürfen nicht blockiert sein, wenn Sie KI-Sichtbarkeit wollen.
Abruf als Bot testen: Rufen Sie eine wichtige Seite mit einem Bot-User-Agent ab, etwa per curl mit der Kennung OAI-SearchBot. Ein Statuscode 403 oder 503 verrät eine Blockade durch Firewall oder CDN.
CDN-Einstellungen kontrollieren: Prüfen Sie bei Cloudflare und ähnlichen Diensten, ob Regeln zum Blockieren von KI-Crawlern aktiv sind, und schalten Sie die Such-Bots gezielt frei.
HTML ohne JavaScript prüfen: Kontrollieren Sie im Quelltext, ob Text, Titel und strukturierte Daten im initialen HTML stehen.
Logs und Wirkung beobachten: Werten Sie die Server-Logs nach zwei bis vier Wochen erneut aus. Wie Sie Erwähnungen in KI-Antworten systematisch messen, zeigt der Ratgeber KI-Sichtbarkeit messen.

Quellen und weiterführende Informationen

Alle Angaben zu Bot-Namen und Verhalten stammen aus den Primärdokumentationen der Betreiber, Stand 15. August 2026. Auch bei korrekt konfigurierter robots.txt sind Indexierung und Zitate nicht garantiert – die Betreiber entscheiden über die Aufnahme.

Häufige Fragen zu KI-Crawlern und robots.txt

Muss ich GPTBot erlauben, um in ChatGPT zitiert zu werden?

Nein. Über Zitate in der ChatGPT-Suche entscheidet der OAI-SearchBot, nicht GPTBot. GPTBot sammelt ausschliesslich Trainingsdaten für künftige Modelle. Sie können GPTBot blockieren und trotzdem in der ChatGPT-Suche erscheinen – OpenAI dokumentiert diese Trennung ausdrücklich.

Schadet das Blockieren von Google-Extended meinem Google-Ranking?

Nein. Google-Extended steuert nur, ob Inhalte für das Training künftiger Gemini-Modelle und für Grounding genutzt werden. Laut Google hat die Blockade keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Rankingsignal. AI Overviews hängen am normalen Googlebot.

Warum taucht Perplexity trotz Disallow in meinen Logs auf?

Vermutlich ist es Perplexity-User, nicht PerplexityBot. Perplexity-User ruft Seiten ab, wenn eine Person konkret danach fragt, und ignoriert robots.txt-Regeln dabei in der Regel. Wer diese Abrufe wirklich unterbinden will, braucht Server- oder Firewall-Regeln.

Reicht eine llms.txt statt einer sauberen robots.txt?

Nein. Die llms.txt ist ein Experiment ohne bestätigte Nutzung durch grosse KI-Dienste, und Google ignoriert solche Dateien ausdrücklich. Die robots.txt ist dagegen ein etablierter Standard, den Such-Crawler tatsächlich abrufen und befolgen. Zuerst die robots.txt korrekt aufsetzen, die llms.txt ist optional.

Wie schnell wirkt eine Änderung an der robots.txt?

Crawler cachen die robots.txt und rufen sie meist innert Stunden bis weniger Tage neu ab. Bis eine freigeschaltete Website in KI-Suchindexen auftaucht, dauert es aber länger – rechnen Sie mit Wochen. Prüfen Sie in den Server-Logs, ob die Bots nach der Änderung tatsächlich zugreifen.