Türk SEM · SEO-Werkzeug

What AI Sees: der KI-Crawler-Check

Die Crawler von ChatGPT, Claude und Perplexity lesen nur das HTML, das Ihr Server ausliefert. JavaScript führen sie nicht aus. Der Check zeigt Ihnen, welcher Inhalt ihnen dadurch entgeht, welche KI-Crawler Ihre robots.txt hereinlässt und wie Sie beides gezielt steuern.

Automatisch von Ihrer Website holen

Wir öffnen Ihre Seite einmal in einem echten Browser und vergleichen sie mit dem rohen HTML, das KI-Crawler erhalten. Weitere Daten Ihrer Website speichern wir nicht.

So funktioniert der Check

  1. 1

    Ein Seitenaufruf im echten Browser

    Wir laden Ihre Seite einmal in Chromium. Dabei halten wir zwei Fassungen fest: das HTML, das der Server als Erstes schickt, und die fertige Seite, nachdem JavaScript gelaufen ist.

  2. 2

    Textabgleich

    Taucht eine Passage von mindestens acht Wörtern erst in der fertigen Seite auf, bekommen KI-Crawler sie nie zu sehen. Der Prozentwert gibt an, wie viel Ihres Textes schon im rohen HTML steht.

  3. 3

    Auswertung der robots.txt

    Für jeden offiziell dokumentierten KI-Crawler prüfen wir einzeln, ob er Ihre Seite abrufen darf. Sortiert wird nach Aufgabe: Training, KI-Suche oder Abruf im Auftrag eines Nutzers.

  4. 4

    Zugriffstest unter Crawler-Namen

    Ein normaler Browserabruf dient als Vergleich. Danach fragen wir die Seite unter den Namen der sechs KI-Crawler an, die OpenAI, Anthropic und Perplexity betreiben. Weicht die Antwort ab, behandelt eine Firewall oder ein CDN die Crawler anders als Besucher, auch wenn die robots.txt sie zulässt.

So lesen Sie das Ergebnis

Entscheidend ist, welchen Anteil Ihres Textes KI-Crawler lesen können.

95 % und mehr
Die Seite ist für KI-Crawler vollständig lesbar. Beim Rendering besteht kein Handlungsbedarf.
70 bis 94 %
Der Hauptinhalt kommt an. Einzelne Elemente wie Bewertungen oder Tabs werden erst per JavaScript geladen.
25 bis 69 %
KI-Crawlern entgeht ein großer Teil der Seite. Verlagern Sie den wichtigen Text in das rohe HTML, das der Server ausliefert.
Unter 25 %
Ohne JavaScript bleibt die Seite fast leer. Für KI-Assistenten ist sie praktisch unsichtbar.

JavaScript-SEO: Warum KI-Crawler weniger sehen

Im Dezember 2024 haben Vercel und MERJ ausgewertet, wie sich KI-Crawler auf realen Websites verhalten. Keiner der großen KI-Crawler führte JavaScript aus, auch nicht die von OpenAI, Anthropic, Meta und Perplexity (Vercel). Heruntergeladen werden JavaScript-Dateien durchaus, bei ChatGPT in 11,50 % der Anfragen, bei Claude in 23,84 %. Ausgeführt werden sie nicht. Text, den Ihre Skripte erst im Browser erzeugen, erreicht die Crawler deshalb nie.

Anders bei Google: Der Googlebot rendert JavaScript, bevor er eine Seite in den Index aufnimmt (Google Search Central). Aus diesem Index speist sich auch die „Übersicht mit KI“. So kann eine Seite bei Google gut ranken und für ChatGPT trotzdem leer aussehen.

Welcher Crawler welche Aufgabe hat

In der robots.txt regeln Sie jeden KI-Crawler einzeln. Genau das wird oft übersehen: Wer nur dem Training widersprechen will, sperrt alle Crawler eines Anbieters und fällt damit auch aus den Antworten seiner KI-Suche. Welcher Crawler was tut, beschreiben die Anbieter selbst.

Bei OpenAI sammelt GPTBot Trainingsdaten, OAI-SearchBot versorgt die ChatGPT-Suche, und ChatGPT-User ruft eine Seite ab, wenn ein Nutzer im Chat danach fragt. Websites, die OAI-SearchBot sperren, erscheinen laut OpenAI nicht mehr in den Antworten der ChatGPT-Suche, höchstens noch als Navigationslink (OpenAI). Eine Sperre für GPTBot allein lässt die ChatGPT-Suche dagegen unberührt.

Anthropic arbeitet nach demselben Muster mit ClaudeBot, Claude-SearchBot und Claude-User (Anthropic). Perplexity setzt PerplexityBot für seine Suchergebnisse und Perplexity-User für Abrufe in Echtzeit ein. Perplexity-User hält sich laut Perplexity in der Regel nicht an die robots.txt (Perplexity).

Google-Extended ist ein Sonderfall: Hinter dem Namen steht kein Crawler, sondern ein Token in der robots.txt. Es legt fest, ob Gemini mit Ihren Inhalten trainiert werden und seine Antworten darauf stützen darf. Auf die Aufnahme in die Google-Suche und auf das Ranking hat es laut Google keinen Einfluss (Google).

In der robots.txt stehen inzwischen nicht nur Regeln, sondern auch Wünsche. Die Content Signals von Cloudflare (Cloudflare), die Zeile Content-Usage aus einem IETF-Entwurf (IETF) und eine RSL-Lizenzangabe (RSL) teilen KI-Anbietern mit, wie Sie Ihre Inhalte genutzt sehen möchten. Durchsetzen lässt sich damit nichts; der Check zeigt die Angaben, wenn Ihre Datei sie enthält.

Bei Google wirken andere Hebel. Mit nosnippet dient eine Seite nicht mehr als direkte Grundlage für die Übersicht mit KI und den KI-Modus; max-snippet begrenzt, wie viel Text daraus genutzt werden darf (Google). Seit dem 31. August 2026 gibt es in der Search Console außerdem eine Einstellung, mit der Sie die ganze Website aus diesen KI-Funktionen herausnehmen, ohne das normale Ranking zu berühren (Google).

Was Sie tun können

Fehlt Text im ausgelieferten HTML, gehört er dorthin. Das erreichen Sie mit serverseitigem Rendering (SSR) oder Prerendering; die meisten aktuellen Frameworks beherrschen beides. Beginnen Sie mit den Inhalten, die eine Suchanfrage beantworten: Überschriften, Haupttext, Preise und FAQ.

Ist ein Crawler aus Versehen gesperrt, übernehmen Sie eine der fertigen Regeln aus dem Check. Diese Regeln enthalten für jede Rolle alle offiziell dokumentierten Crawler. So bleibt die KI-Suche offen, auch wenn Sie dem Training widersprechen.

Cloudflare kann KI-Crawler per Dashboard sperren und ihnen in der Beta-Phase von Pay per Crawl mit HTTP 402 einen Preis nennen. Ähnliches leisten Sicherheits-Plugins und die Firewall Ihres Hosters, und in der robots.txt sieht man davon nichts. Meldet der Zugriffstest eine Abweisung, lohnt der Blick dorthin also zuerst.

Maschinenlesbarkeit ist die Voraussetzung. Der nächste Schritt: von KI-Assistenten als Quelle genannt werden. Genau daran arbeiten wir bei GEO (Generative Engine Optimization) und AIO (KI-Optimierung). Wie Google seine KI-Antworten erstellt, erklärt unser Leitfaden zur „Übersicht mit KI“.

Häufige Fragen

Schadet es meinem Google-Ranking, wenn ich KI-Crawler sperre?

Nein. Eine Sperre für Google-Extended oder für KI-Crawler ändert nichts an Ihrem Ranking in der Google-Suche; laut Google hat Google-Extended darauf keinen Einfluss. Schaden würde nur eine Sperre des Googlebots selbst.

Wie sperre ich GPTBot, ohne aus der ChatGPT-Suche zu fallen?

Sperren Sie in der robots.txt nur GPTBot und lassen Sie OAI-SearchBot und ChatGPT-User zu. GPTBot sammelt ausschließlich Trainingsdaten. Für die Antworten der ChatGPT-Suche ist OAI-SearchBot zuständig.

Führt ChatGPT JavaScript aus?

Nein. Die Crawler von ChatGPT lesen das HTML, das Ihr Server ausliefert. JavaScript-Dateien laden sie mitunter herunter, führen sie aber nicht aus. Was Ihre Skripte an Text erzeugen, sehen sie deshalb nicht.

Warum ist meine Seite bei Google sichtbar, hier aber fast leer?

Der Googlebot rendert JavaScript vor der Indexierung und sieht deshalb die fertige Seite. KI-Crawler lesen nur das rohe HTML. Wird Ihr Inhalt per JavaScript geladen, erreicht er nur Google.

Hält die robots.txt KI-Crawler zuverlässig fern?

Nicht ganz. Die großen KI-Crawler sagen zu, sich daran zu halten. Anders bei Abrufen im Auftrag eines Nutzers: Perplexity-User etwa hält sich unter Umständen nicht daran. Die robots.txt äußert einen Wunsch; durchsetzen kann sie ihn nicht.

Ist eine llms.txt Pflicht?

Nein. Die llms.txt ist ein Vorschlag aus der Community, der Sprachmodellen eine kurze Übersicht über Ihre Website geben soll. Kein großer KI-Anbieter hat bestätigt, dass er sie auswertet. Kümmern Sie sich zuerst um HTML und robots.txt.

Warum sperrt Cloudflare KI-Crawler, obwohl meine robots.txt sie erlaubt?

Unser Zugriffstest zeigt, was Cloudflare unter dem Namen jedes Crawlers ausliefert. Taucht dort eine Sperre auf, obwohl die robots.txt den Crawler zulässt, liegt das meist an Cloudflare selbst: Im Dashboard lassen sich KI-Crawler unabhängig von der robots.txt sperren oder auf eine Prüfseite umleiten. Ob auch die echten Crawler betroffen sind, verrät die Einstellung für KI-Crawler in Ihrem Dashboard. Cloudflare erkennt sie an ihrem Netz, und aus diesem Netz kommt unser Test nicht.

Kann ich in der Google-Suche bleiben, ohne in der Übersicht mit KI zu erscheinen?

Für die ganze Website gibt es seit dem 31. August 2026 eine Einstellung in der Search Console: Sie nimmt die Website aus der Übersicht mit KI, dem KI-Modus und den KI-Funktionen in Discover heraus, das normale Ranking bleibt gleich. Für einzelne Seiten sorgt nosnippet dafür, dass Inhalte nicht als direkte Grundlage für die Übersicht mit KI und den KI-Modus dienen; dann verschwinden allerdings auch die Snippets in den normalen Ergebnissen. Google-Extended ist dafür das falsche Werkzeug. Es regelt, ob Ihre Inhalte in das Training von Gemini einfließen und ob Gemini sich in Antworten darauf stützt.

Was bewirken die Zeilen Content-Signal, Content-Usage und License in der robots.txt?

Keine davon sperrt einen Crawler; dafür bleibt die Disallow-Regel zuständig. Die drei Zeilen formulieren Wünsche: Content-Signal ist das Format von Cloudflare (search, ai-input, ai-train), Content-Usage stammt aus einem IETF-Entwurf (train-ai, ai-use, search), und License verweist auf eine Lizenzdatei nach dem RSL-Standard.

Quellen