llms.txt im Selbsttest: Aufbau, Erwartungen und Messplan
Unter seo-maus.de/llms.txt liegt seit dem Start dieser Seite eine Datei, von der ich selbst nicht weiß, ob sie je jemand liest. Genau das will ich herausfinden. Statt die llms.txt als Pflichtpunkt auf einer GEO-Checkliste abzuhaken, behandle ich sie als Versuch mit Messplan. Dieser Artikel ist das Protokoll dazu: Aufbau, Annahmen, Methode. Die Ergebnisse trage ich nach.
Der Versuchsaufbau
Weil eine einzelne Datei wenig aussagt, habe ich mehrere Wege eingerichtet, über die eine Maschine an reinen Text kommt. So kann ich später vergleichen, welcher davon überhaupt genutzt wird:
| Baustein | Adresse | Zweck |
|---|---|---|
| llms.txt | /llms.txt | Übersicht aller Seiten, jeweils mit Kurzbeschreibung und Link auf die Markdown-Fassung |
| llms-full.txt | /llms-full.txt | sämtliche Inhalte am Stück in einer Datei |
| Markdown-Fassungen | z. B. /ueber-mich.md | jede Seite noch einmal ohne HTML |
| Content Negotiation | jede Seiten-URL | wer im Header Accept: text/markdown mitschickt, bekommt Markdown statt HTML |
| Verweis im HTML | <link rel="alternate" type="text/markdown"> |
im Kopf jeder Seite steht, wo ihre Markdown-Fassung liegt |
Ein Nebeneffekt wäre Duplicate Content. Deshalb liefert der Server jede Markdown-Fassung mit einem Canonical-Header aus, der auf die HTML-Seite zeigt. In den Index soll nur das HTML.
Die Idee hinter der llms.txt
Jeremy Howard von Answer.AI hat das Format im September 2024 vorgeschlagen (llmstxt.org). Der Gedanke: Ein Sprachmodell hat nur begrenzten Kontext und kann nicht jede Seite einer Website durchgehen. Eine kurze, von Hand gepflegte Übersicht in Markdown soll ihm zeigen, worum es auf der Website geht und welche Inhalte sich lohnen.
Mit der robots.txt hat das nichts zu tun, auch wenn der Name daran erinnert. Die llms.txt regelt keinen Zugriff. Sie ist ein Angebot zum Lesen, mehr nicht.
Warum ich wenig erwarte
Meine Erwartungen sind gering, und das hat Gründe. In einer Logfile-Studie von Ahrefs blieb die Datei auf 97 von 100 Websites im Mai 2026 völlig unberührt, kein Bot und kein Assistent hat sie angefordert. Grundlage waren rund 137.000 Domains (Ahrefs, Zusammenfassung bei PPC Land). Google wiederum schreibt in seinem Leitfaden zu generativen KI-Funktionen ausdrücklich, dass man für die Google-Suche keine eigenen KI-Dateien oder Markdown-Fassungen braucht (Google Search Central).
Einen Bereich, in dem die Datei tatsächlich gelesen wird, gibt es allerdings: Programmier-Assistenten wie Cursor oder Claude Code greifen bei technischen Dokumentationen gezielt darauf zu. Für eine persönliche Website wie diese ist das aber kaum relevant.
Meine Hypothesen
- Die klassischen KI-Crawler übergehen die llms.txt. Ich rechne damit, dass GPTBot, ClaudeBot und andere die HTML-Seiten abrufen, die llms.txt aber selten oder gar nicht.
- Wenn Markdown-Fassungen gefunden werden, dann über den Link im HTML-Kopf. Ein Crawler, der Links folgt, stößt dort ohnehin darauf. Den Umweg über die llms.txt braucht er dafür nicht.
- Markdown per Header fragen eher Agenten an als Trainings-Crawler. Anfragen mit
Accept: text/markdownerwarte ich vor allem bei Live-Abrufen im Auftrag von Nutzern.
Wie ich messe
Ein Cloudflare Worker schreibt jeden Abruf von llms.txt, llms-full.txt und den Markdown-Fassungen mit, ebenso jede Anfrage mit Markdown-Header. Den Aufbau beschreibe ich im Artikel über das Messen von KI-Crawlern. Nach acht Wochen stelle ich gegenüber, welcher Crawler welche Datei wie oft angefordert hat und wie oft er im selben Zeitraum normale Seiten geladen hat.
Daneben stelle ich einmal im Monat dieselben Fragen an ChatGPT, Perplexity, Gemini, Copilot und Claude und notiere, ob seo-maus.de als Quelle genannt wird. Einen ursächlichen Zusammenhang mit der llms.txt kann das nicht belegen. Es zeigt aber, ob die Seite in KI-Antworten überhaupt vorkommt.
Ergebnisse
Die Messung läuft seit Oktober 2026. Die Auswertung ergänze ich hier mit Datum, sobald die acht Wochen um sind.