llms.txt

llms.txt ist eine Markdown-Textdatei im Wurzelverzeichnis einer Website, die großen KI-Sprachmodellen die wichtigsten Inhalte der Seite in aufbereiteter Form bereitstellt. Der KI-Forscher Jeremy Howard schlug den Standard am 3. September 2024 über sein Unternehmen Answer.AI vor. Die Datei richtet sich nicht an Suchmaschinen-Crawler, sondern an Sprachmodelle wie ChatGPT und Claude, deren Kontextfenster zu klein sind, um eine komplette Website zu verarbeiten.

Im Kern löst llms.txt ein Abrufproblem der generativen KI. Sprachmodelle scheitern oft daran, aus einer HTML-Seite mit Navigation, Werbung und JavaScript den eigentlichen Inhalt sauber zu extrahieren. Die Datei liefert stattdessen eine kuratierte, klare Übersicht im Markdown-Format, das Modelle direkt lesen können. Bis heute ist llms.txt ein Vorschlag und kein verbindlicher Standard, weshalb sich Nutzen und Verbreitung kontrovers diskutieren lassen.

Was ist eine llms.txt?

Eine llms.txt ist eine Markdown-Datei im Wurzelverzeichnis einer Website, die KI-Sprachmodellen die wichtigsten Inhalte in kompakter, maschinenlesbarer Form auflistet. Der Standard stammt von Jeremy Howard und wurde am 3. September 2024 vorgeschlagen.

Die Datei liegt unter der festen Adresse domain.de/llms.txt, analog zur robots.txt. Sie enthält keine Anweisungen zur Steuerung von Crawlern, sondern verweist auf die Seiten, die ein Modell für ein korrektes Verständnis der Website kennen sollte. Damit unterstützt llms.txt vor allem das Verfahren, bei dem Sprachmodelle externe Webinhalte in ihre Antworten einbeziehen.

Jeremy Howard entschied sich bewusst für Markdown statt eines klassischen Formats wie XML. Der Grund liegt in der Zielgruppe der Datei: Sprachmodelle und KI-Agenten lesen Markdown direkt und ohne Umwege, während XML für Maschinen mit Suchindex-Logik gedacht ist.

Wie diese Inhalte konkret angeordnet werden, gibt die Spezifikation genau vor.

Wie ist eine llms.txt aufgebaut?

Eine llms.txt folgt einer festen Markdown-Struktur aus einer H1-Überschrift mit dem Projektnamen, einer kurzen Zusammenfassung als Zitatblock und thematisch gruppierten Linklisten. Nur die H1-Überschrift ist verpflichtend, alle weiteren Abschnitte bleiben optional.

Die Spezifikation schreibt eine feste Reihenfolge aus vier Bausteinen vor, von denen einzig der erste zwingend vorhanden sein muss:

• H1-Projektname: Eine einzelne Überschrift mit dem Namen der Website oder des Projekts, der einzige Pflichtbestandteil der Datei.
• Zitatblock-Zusammenfassung: Ein kurzer Abschnitt im Blockquote-Format mit den wichtigsten Eckdaten, der dem Modell den Kontext liefert.
• Markdown-Abschnitte: Optionale Fließtext-Passagen ohne Überschrift für ergänzende Hinweise zur Website.
• H2-Linklisten: Nach Themen gruppierte Abschnitte wie Dokumentation oder Richtlinien, in denen jeder Eintrag dem Format [Name](URL): Beschreibung folgt.

Ein abschließender Abschnitt mit der Überschrift Optional markiert nachrangige Quellen, die ein Modell bei knappem Kontextfenster überspringen darf. Eine vollständige Beispieldatei sieht damit so aus:

# Beispielprojekt

> Kurze Zusammenfassung des Projekts mit den wichtigsten Informationen.

## Dokumentation

- [Schnellstart](https://example.com/quickstart.md): Einstieg in unter fünf Minuten
- [API-Referenz](https://example.com/api.md): vollständige Endpunkt-Übersicht

## Optional

- [Changelog](https://example.com/changelog.md): Versionshistorie

Neben dieser kompakten Form existiert eine zweite Variante für den vollständigen Inhalt.

Was unterscheidet llms.txt von llms-full.txt?

Die llms.txt ist eine kuratierte Liste der wichtigsten Links, die llms-full.txt enthält dagegen den kompletten Textinhalt der Website in einem einzigen Markdown-Dokument. Die kurze Variante leitet ein Modell zu den richtigen Seiten, die lange liefert ihm den gesamten Lesestoff direkt.

llms-full.txt eignet sich vor allem für umfangreiche Dokumentationen, bei denen ein Modell den vollständigen Text in einem Durchgang verarbeiten soll. Der Nachteil liegt in der Größe: Die Datei kann das Kontextfenster eines Modells sprengen und erfordert deutlich mehr Pflege als die schlanke llms.txt. Für die meisten Websites reicht die kuratierte Variante aus.

Damit grenzt sich die Datei klar von zwei älteren Dateien ab, mit denen sie häufig verwechselt wird.

Wie unterscheidet sich llms.txt von robots.txt und sitemap.xml?

llms.txt kuratiert Inhalte für das Verständnis durch KI-Modelle, robots.txt steuert den Zugriff von Crawlern und sitemap.xml listet alle URLs für die Suchmaschinen-Indexierung. Die drei Dateien verfolgen unterschiedliche Zwecke und schließen sich gegenseitig nicht aus.

Während die bekannte Steuerdatei für Suchmaschinen-Crawler festlegt, welche Bereiche ein Bot betreten darf, und die XML-Liste aller indexierbaren Unterseiten der Vollständigkeit der Indexierung dient, zielt llms.txt allein auf die inhaltliche Aufbereitung für Sprachmodelle. Die folgende Übersicht ordnet die drei Dateien nach ihrem Zweck:

Datei	Zielgruppe	Funktion	Format
robots.txt	Crawler	Zugriff erlauben oder sperren	Text
sitemap.xml	Suchmaschinen	alle URLs zur Indexierung melden	XML
llms.txt	KI-Sprachmodelle	wichtige Inhalte kuratiert bereitstellen	Markdown

Keine der Dateien ersetzt eine andere, da jede an einer anderen Stelle des Abrufprozesses ansetzt. Eine Website kann alle drei parallel betreiben.

Die entscheidende Frage bleibt, ob die KI-Modelle die llms.txt überhaupt lesen.

Nutzen KI-Modelle wie ChatGPT und Claude die llms.txt?

Kein großer KI-Anbieter hat bisher offiziell bestätigt, die llms.txt auszuwerten. Weder OpenAI noch Anthropic oder Google nennen die Datei als Quelle, und Server-Logs zeigen in vielen Fällen keine Abrufe durch ihre Crawler.

Wie unterschiedlich die einzelnen Anbieter mit der Datei umgehen, zeigt der Blick auf die drei meistdiskutierten Fälle.

Nutzt ChatGPT die llms.txt?

ChatGPT wertet die llms.txt nach Stand 2026 nicht gezielt aus. OpenAIs Chatbot steuert seinen Crawler GPTBot ausschließlich über die robots.txt und nennt llms.txt an keiner Stelle als Signal. Einzelne Tracking-Experimente verzeichnen zwar Abrufe durch GPTBot, ein belegter Einfluss auf die Antworten fehlt jedoch.

Nutzt Google die llms.txt?

Google nutzt die llms.txt nicht und hat sich öffentlich dagegen positioniert. Google-Vertreter John Mueller verglich die Datei mit dem längst bedeutungslosen Keywords-Meta-Tag und stellte fest, dass kein KI-Dienst sie nach eigener Aussage abruft und die Server-Logs keine Abfragen zeigen. Googles KI-Funktionen greifen stattdessen auf bestehende Crawler-Mechanismen zurück.

Welche Websites nutzen bereits eine llms.txt?

Vor allem dokumentationslastige Tech-Unternehmen pflegen freiwillig eine llms.txt, darunter Anthropic, Cloudflare, Mintlify und Tinybird. Gesammelt werden diese Dateien im Verzeichnis directory.llmstxt.cloud. Dass Anthropics KI-Assistent eine eigene Datei veröffentlicht, belegt jedoch nur die Bereitschaft des Anbieters, nicht die Auswertung durch seine Crawler. Seit Mintlify die llms.txt im November automatisch für alle gehosteten Doku-Sites ausrollte, stieg die Verbreitung auf über 780 Websites, ohne dass ein großer Anbieter eine Nutzung zugesagt hat.

Trotz dieser unklaren Datenlage sprechen einige Punkte für den Einsatz.

Welche Vorteile bietet eine llms.txt?

Der größte Vorteil einer llms.txt liegt im geringen Aufwand bei gleichzeitig sauber kuratierten Inhalten für KI-Modelle. Setzt sich der Standard durch, sichern sich frühe Anwender einen Startvorteil ohne nennenswertes Risiko.

Vier Argumente sprechen aus Sicht von Website-Betreibern für eine Einführung, trotz der offenen Wirkungsfrage:

• Niedriger Aufwand: Eine erste Datei entsteht in rund 15 Minuten und verursacht keine laufenden Kosten.
• Kuratierte Inhalte: Die Datei zwingt zur Auswahl der wichtigsten Seiten und schafft eine klare inhaltliche Struktur.
• Zukunftssicherung: Falls große Anbieter den Standard künftig auswerten, sind vorbereitete Websites sofort dabei.
• Eignung für Dokumentationen: Technische Projekte mit umfangreicher Doku profitieren am stärksten von der gebündelten Übersicht.

Diesen Vorteilen stehen handfeste Schwächen gegenüber.

Welche Nachteile hat eine llms.txt?

Der zentrale Nachteil ist der fehlende Nachweis, dass llms.txt überhaupt wirkt. Es existiert kein verbindlicher Standard, große Sprachmodelle ignorieren die Datei laut Logfiles, und ein messbarer SEO-Vorteil ist bislang nicht belegt.

Fünf Kritikpunkte begrenzen den praktischen Wert der Datei und sollten in die Entscheidung einfließen:

• Kein bewiesener Effekt: Bisher liegt keine Studie vor, die bessere KI-Sichtbarkeit oder mehr Traffic durch llms.txt belegt.
• Fehlende Verbindlichkeit: Der Vorschlag ist kein offizieller Standard, an den sich Anbieter halten müssen.
• Ignoranz großer Modelle: Die führenden KI-Dienste rufen die Datei laut Server-Logs in der Regel nicht ab.
• Wartungsaufwand: Bei jeder Inhaltsänderung muss die Datei aktualisiert werden, sonst veraltet sie und verweist auf falsche Seiten.
• Fehlende Quellenbindung: KI-Antworten auf Basis der Inhalte verlinken nicht zwingend zurück auf die Quell-URL.

Wer den Versuch dennoch wagt, kommt mit wenig Aufwand zu einer ersten Datei.

Wie erstellst du eine llms.txt?

Eine einfache llms.txt erstellst du in etwa 15 Minuten, indem du eine Markdown-Datei mit Projektname, Zusammenfassung und den wichtigsten Links anlegst und sie im Wurzelverzeichnis ablegst. Generatoren liefern eine Basis, die anschließend manuell geschärft wird.

Die Erstellung gliedert sich in drei überschaubare Schritte:

• Inhalte auswählen: Die zentralen Seiten der Website bestimmen, etwa Dokumentation, Leistungen oder Richtlinien, und nach Themen gruppieren.
• Datei aufbauen: Projektname als H1, eine kompakte Zusammenfassung als Zitatblock und die ausgewählten Links im Format [Name](URL): Beschreibung ergänzen.
• Datei veröffentlichen: Das Dokument als llms.txt im Wurzelverzeichnis der Domain ablegen, sodass es unter domain.de/llms.txt erreichbar ist.

Generatoren wie das Yoast-Plugin für WordPress, Writesonic oder WordLift erzeugen ein Grundgerüst automatisch. Diese Vorlagen ersetzen jedoch keine manuelle Kontrolle, da sie ohne redaktionelle Auswahl oft zu viele oder unpassende Seiten aufnehmen.

Bleibt die Frage, ob sich dieser Aufwand für die Suchmaschinenoptimierung auszahlt.

Lohnt sich eine llms.txt für SEO?

Eine llms.txt bringt aktuell keinen belegten Ranking- oder Traffic-Vorteil, schadet einer Website aber auch nicht. Für dokumentationslastige Projekte mit geringem Pflegeaufwand ist sie ein sinnvolles Experiment, für klassische Unternehmensseiten hat sie eine niedrige Priorität.

Sinnvoller als die alleinige Hoffnung auf die Datei ist eine breitere Optimierung von Inhalten für generative KI-Antworten, die strukturierte Inhalte, klare Antworten und technische Erreichbarkeit verbindet. Den größten Hebel für KI-Sichtbarkeit bietet weiterhin starker, zitierfähiger Content, der die Aufnahme in Googles KI-Übersichten wahrscheinlich macht.

llms.txt bleibt damit eine günstige Wette auf einen möglichen künftigen Standard. Wer die 15 Minuten investiert, verliert nichts, sollte die Datei aber nicht als Ersatz für fundierte Inhaltsarbeit verstehen.