Was KI-Crawler auf einer Website wirklich tun

Wer tatsächlich kam

Eine Zeile des Protokolls ist eine Anfrage. Die Zahlen unten zählen einen Treffer je Zeile, und das ist wichtiger, als es klingt: der User-Agent eines Crawlers enthält seinen Namen meist zweimal, einmal als Name und einmal in der Kontakt-URL. Wer Vorkommen statt Zeilen zählt, verdoppelt daher jede Zahl. Dieser Fehler ist leicht zu machen, und wir haben ihn im ersten Durchgang selbst gemacht.

Befund eins: llms.txt wurde null Mal angefragt

Nicht selten. Null, von 1.425 Anfragen, über fünfzehn Tage, auf einer Website, auf der die Datei existiert, gültig ist, verlinkt und aufgeführt wird. Das deckt sich mit einer großen Untersuchung über rund 300.000 Domains: kein messbarer Zusammenhang zwischen dem Vorhandensein von llms.txt und dem Zitiertwerden durch KI. Unser Protokoll kann diesen Befund nicht beweisen, eine einzelne Website kann das nie, aber es ist ein Datenpunkt aus der Praxis statt aus der Spezifikation, und er zeigt in dieselbe Richtung.

Das ist kein Argument dafür, die Datei zu löschen. Sie kostet nichts, sie ist für Menschen lesbar, und manche Agenten lesen sie vielleicht, wenn sie nachsehen wollen. Es ist ein Argument dagegen, sie als das zu verkaufen oder zu kaufen, was einen zitierfähig macht.

Befund zwei: der Crawler, der ChatGPT Search speist, ist eine kleine Minderheit

Rechnet man Meta heraus, dessen Crawler Meta speist und keinen der Assistenten, die Menschen tatsächlich fragen, bleiben 904 Anfragen. Davon entfallen auf OAI-SearchBot 52, also 5,8 Prozent. Der Rest ist ClaudeBot und GPTBot, und GPTBot ist der Trainings-Crawler von OpenAI, nicht der Such-Crawler. OpenAI dokumentiert sie als getrennte Agenten, die in robots.txt getrennt gesteuert werden.

Daraus folgt ein häufiger und teurer Fehler: GPTBot zu blockieren, um sich dem Training zu entziehen, fühlt sich an, als blockiere man ChatGPT, ist aber nicht der Crawler, der darüber entscheidet, ob ChatGPT Search Sie zitieren kann. Das sind zwei verschiedene Türen, und die meisten Websites schließen beide, obwohl sie nur eine schließen wollten.

Befund drei: Crawler erkunden weit mehr, als sie lesen

Von den 904 Anfragen der Assistenten-Crawler gingen 305, also 34 Prozent, an lediglich zwei Dateien: robots.txt und sitemap.xml. Die am häufigsten angefragte Inhaltsseite war die Startseite mit 17 Anfragen in fünfzehn Tagen. Jede andere Seite lag bei drei oder vier. Sie laufen die ganze Website ab, und sie tun es flach.

Das verschiebt, was zu optimieren ist. Wenn ein Drittel der Aufmerksamkeit an robots.txt und die Sitemap geht, sind diese beiden Dateien keine Nebensache, sondern die Schnittstelle. Eine Sitemap, die eine Seite auslässt, oder ein weicher 404, der auf jede falsche Adresse mit 200 antwortet, verschwendet genau den Teil des Budgets, den der Crawler tatsächlich ausgibt.

Befund vier: einen Crawler zu erlauben ruft ihn nicht herbei

PerplexityBot, Google-Extended, CCBot, Applebot-Extended und Bingbot tauchten kein einziges Mal auf, obwohl robots.txt sie alle ausdrücklich erlaubt. Zugang ist eine notwendige und keine hinreichende Bedingung. Ein Crawler muss erst erfahren, dass es die Website gibt, und das geschieht über Sitemaps, über Indizes wie den von Bing per IndexNow und darüber, irgendwo erwähnt zu werden, wo er ohnehin schon liest.

Warum das eine andere Arbeit ist als SEO

Die Überschneidung zwischen einer guten Google-Platzierung und dem Zitiertwerden durch einen Assistenten ist viel dünner, als sie aussieht. Veröffentlichte Auswertungen verorten 83 Prozent der Zitate in AI Overviews auf Seiten außerhalb der ersten zehn organischen Treffer, und 28,3 Prozent der von ChatGPT am häufigsten zitierten Seiten sind bei Google zur selben Anfrage überhaupt nicht sichtbar. Weniger als eine von zehn Quellen, die ChatGPT, Gemini und Copilot zitieren, steht bei Google in den Top Ten.

In die eine Richtung gelesen ist das entmutigend: eine gute Google-Position überträgt sich nicht. In die andere Richtung gelesen ist es die ganze Chance, denn es heißt, dass ein Assistent Sie zitieren kann, bevor Sie ranken. Von Princeton gestützte Arbeiten beziffern den Zugewinn durch GEO-Techniken auf bis zu 40 Prozent, und die Technik mit dem am direktesten gemessenen Effekt ist es, in den eigenen Aussagen die Quellen zu nennen, mit bis zu 115 Prozent für Seiten auf Platz fünf.

Was sich tatsächlich messen lässt, und wie

Das Unangenehme an diesem Feld ist, dass die wertvollste Sichtbarkeit gar keinen Besuch erzeugt. Der Assistent gibt die Antwort in eigenen Worten wieder, der Mensch liest sie und kommt eine Woche später, indem er Ihren Namen direkt eintippt. Die Auswertung verbucht das als Direktzugriff. Eine einzelne Zahl reicht daher nie, messen Sie auf drei unabhängigen Wegen.

• Serverprotokolle. Welche KI-Crawler kommen, wie oft, und welche Seiten sie mitnehmen. Das ist das einzige vollständig objektive Signal, es braucht keine Werkzeuge, und von dort stammt jede Zahl in diesem Artikel. Beobachten Sie den Anteil der Inhaltsseiten und den Anteil des Such-Crawlers, nicht die Gesamtzahl.
• Kontrollfragen. Eine feste Liste von Fragen, in einer frischen Sitzung an mehrere Assistenten gestellt, nach festem wöchentlichem Rhythmus, in ein Protokoll geschrieben. Halten Sie nicht nur fest, ob Sie genannt wurden, sondern auch, wer stattdessen genannt wurde: diese Liste der Wettbewerber bekommen Sie auf keinem anderen Weg.
• Das Formular. Ein Feld mit der Frage, wie die Person von Ihnen erfahren hat, mit einer ausdrücklichen Option für einen KI-Assistenten, erfasst zusammen mit dem technischen Verweis. Diese beiden widersprechen sich genau im interessanten Fall, und der Widerspruch ist die Messung.

Was dieser Artikel bewusst nicht enthält: Ergebnisse. Das sind Ausgangswerte, erhoben bevor die Änderungen, mit denen sie verglichen werden sollen, wirken konnten. Eine Wirkung zu veröffentlichen, die wir noch nicht gemessen haben, wäre genau die Unehrlichkeit, gegen die dieser Text argumentiert. Die Folgemessung steht in einem Monat an, auf derselben Website, nach derselben Methode.