# KI-Crawler messen: Warum GA4 sie nicht sieht und was stattdessen hilft

> GPTBot, ClaudeBot oder PerplexityBot tauchen in GA4 nie auf. Welche Arten von KI-Crawlern es gibt, wie du sie über Server- und Edge-Logs erkennst und wie ich das auf seo-maus.de umgesetzt habe.

- URL: https://seo-maus.de/artikel/ki-crawler-messen/
- Autor: Christian Wenzl (https://seo-maus.de/ueber-mich/)
- Veröffentlicht: 2026-10-14
- Zuletzt aktualisiert: 2026-10-15

Wer wissen will, ob ChatGPT, Claude oder Perplexity die eigene Website lesen, schaut oft zuerst in Google Analytics. Dort wird man nichts finden. In diesem Artikel erkläre ich, warum das so ist, welche Crawler-Typen es gibt und wie ich ihre Zugriffe auf dieser Seite protokolliere.

## Warum KI-Crawler in GA4 unsichtbar sind

GA4 misst über ein JavaScript-Tag, das im Browser ausgeführt wird. Crawler laden aber meist nur das HTML und führen kein JavaScript aus. Zudem filtert GA4 bekannten Bot-Traffic ohnehin heraus. Und bei einem DSGVO-konformen Setup würde ein Crawler auch nie einem Cookie-Banner zustimmen.

Das Ergebnis: Ein Crawler kann deine Seite tausendmal abrufen, ohne dass in GA4 eine einzige Sitzung erscheint. Messen lässt sich das nur dort, wo die Anfrage ankommt, also am Server oder am CDN.

## Drei Arten von KI-Crawlern

Nicht jeder KI-Bot will dasselbe. Für die Auswertung lohnt es sich, drei Gruppen zu unterscheiden:

| Zweck | Was passiert | Beispiele (User-Agent) |
| --- | --- | --- |
| Training | Inhalte werden gesammelt, um Modelle zu trainieren | GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider |
| Suche und Index | Inhalte werden für die Suchfunktion eines KI-Assistenten indexiert | OAI-SearchBot, Claude-SearchBot, PerplexityBot |
| Abruf für Nutzer | Ein Mensch stellt gerade eine Frage, und der Assistent ruft deine Seite live ab | ChatGPT-User, Claude-User, Perplexity-User |

Die dritte Gruppe ist für GEO am spannendsten. Ein solcher Abruf bedeutet, dass deine Seite in diesem Moment als mögliche Quelle für eine Antwort geprüft wird.

Google-Extended und Applebot-Extended sind übrigens keine eigenen Crawler. Es sind Kennungen für die robots.txt, mit denen man die KI-Nutzung von Inhalten steuert, die Googlebot oder Applebot ohnehin crawlen. In Logs tauchen sie deshalb nicht auf.

## Wie man die Zugriffe trotzdem sieht

**Server-Logfiles:** Wer einen eigenen Server betreibt, findet jeden Abruf samt User-Agent im Access-Log. Das ist die vollständigste Quelle, braucht aber ein Tool oder etwas Skripting zur Auswertung.

**CDN-Auswertungen:** Liegt die Seite hinter Cloudflare, zeigt der Bereich AI Crawl Control auch im Gratis-Tarif, welche KI-Crawler wie oft zugreifen ([Cloudflare Docs](https://developers.cloudflare.com/ai-crawl-control/features/manage-ai-crawlers/)).

**Eigenes Edge-Logging:** Am flexibelsten ist ein kleines Skript direkt am CDN, das jede Bot-Anfrage mit genau den Feldern mitschreibt, die man braucht.

## So messe ich auf seo-maus.de

Diese Seite läuft als statische Website auf Cloudflare. Vor die Auslieferung habe ich einen Cloudflare Worker gesetzt, der jede Anfrage kurz prüft. Erkennt er einen bekannten KI-Crawler, eine Abfrage der llms.txt, einer Markdown-Version oder eine Anfrage mit dem Header `Accept: text/markdown`, schreibt er eine Logzeile mit:

- Zeitpunkt und abgerufenem Pfad
- erkanntem Crawler und seiner Gruppe (Training, Suche, Nutzerabruf)
- ob Markdown angefragt wurde
- Statuscode der Antwort
- Land der Anfrage

Die Logs kann ich im Cloudflare-Dashboard filtern und auswerten. Das kostet nichts, solange die Seite im Rahmen des Gratis-Kontingents bleibt.

## Vorsicht bei der Interpretation

**User-Agents lassen sich fälschen.** Jeder kann sich als GPTBot ausgeben. Für belastbare Aussagen sollte man prüfen, ob die IP-Adresse zu den veröffentlichten Bereichen des Anbieters gehört. Cloudflare erledigt das für bekannte Bots bereits über seine Liste verifizierter Bots.

**Ein Crawl ist keine Zitierung.** Dass GPTBot eine Seite liest, heißt nicht, dass ChatGPT sie je als Quelle nennt. Die Nutzer-Abrufe sind ein deutlich besseres Signal, sagen aber auch nicht, ob die Seite am Ende in der Antwort auftaucht.

**Erst die Erlaubnis prüfen.** Viele Seiten blockieren KI-Crawler, ohne es zu wissen, etwa über Standardeinstellungen ihres CDN. Wer messen will, sollte zuerst sicherstellen, dass die Crawler überhaupt durchkommen.

## Was ich herausfinden will

Mit dem Logging will ich drei Fragen beantworten: Welche KI-Crawler kommen auf eine kleine, neue Seite, und wie schnell? Rufen sie die llms.txt und die Markdown-Versionen ab? Und wie oft gibt es echte Nutzer-Abrufe? Die Ergebnisse ergänze ich hier, sobald genug Daten zusammengekommen sind.