robots.txt testen und prüfen in Sekunden
Füge deine robots.txt ein und sieh sofort, ob Google und andere Bots eine URL crawlen dürfen. Inklusive Syntax-Prüfung und Sitemap-Erkennung. Kostenlos, ohne Anmeldung, direkt im Browser.
Der Bot, aus dessen Sicht die URLs getestet werden.
Füge deine robots.txt ein und klicke auf Jetzt testen, um die Auswertung zu sehen.
0
Geprüft
0
Blockiert
0
Erlaubt
0
Sitemaps
0
Hinweise
Testergebnisse
Pro URL das Ergebnis und die Regel, die greift.
| URL / Pfad | Status | Greifende Regel |
|---|
Syntax-Prüfung
Auffälligkeiten in der Struktur deiner robots.txt.
Erkannte Regeln und Sitemaps
Die eingelesenen Gruppen je User-Agent sowie referenzierte Sitemaps.
robots.txt richtig testen
Was ein robots.txt-Tester leistet, wie das Tool die Regeln liest und wie eine saubere Datei aussieht.
Was ist ein robots.txt-Tester?
Ein robots.txt-Tester ist ein Werkzeug, das die robots.txt einer Website einliest und prüft, ob eine bestimmte URL für Suchmaschinen-Bots erlaubt oder blockiert ist. Die robots.txt steuert über die Direktiven Allow und Disallow, welche Bereiche einer Domain gecrawlt werden dürfen. Ein Tester macht diese Regeln sichtbar und zeigt für jede geprüfte Adresse das konkrete Ergebnis.
Das ist wichtig, weil eine einzige zu weit gefasste Zeile ganze Verzeichnisse aus dem Index halten kann. Statt die Datei manuell zu lesen, testest du deine URLs gegen die Regeln und erkennst versehentliche Blockaden, bevor sie Rankings kosten.
Wie testest du deine robots.txt mit dem Tool?
Kopiere den Inhalt deiner robots.txt aus deine-domain.de/robots.txt in das obere Feld. Trage darunter die Pfade oder vollständigen URLs ein, die du prüfen willst, und wähle den User-Agent, aus dessen Sicht getestet wird. Nach einem Klick auf Jetzt testen siehst du für jede URL, ob sie erlaubt oder blockiert ist, welche Regel greift und ob die Datei Syntaxfehler enthält.
Wie liest ein robots.txt-Tester die Regeln aus?
Das Tool wertet die Regeln nach dem offiziellen Standard aus, dem auch Googlebot folgt. Entscheidend sind drei Prinzipien:
- Passende Gruppe zuerst: Der Tester sucht die Regelgruppe für den gewählten User-Agent. Fehlt eine spezifische Gruppe, gilt die Gruppe für alle Bots mit User-agent: *.
- Die längste Regel gewinnt: Treffen mehrere Regeln auf eine URL zu, entscheidet die spezifischste, also die mit dem längsten Pfad-Muster. Bei gleicher Länge hat Allow Vorrang vor Disallow.
- Platzhalter: Ein Stern steht für eine beliebige Zeichenfolge, ein Dollarzeichen markiert das Ende der URL. So blockiert Disallow: /*.pdf$ gezielt alle PDF-Dateien.
Wie sieht eine korrekte robots.txt aus?
Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, gefolgt von den Allow- und Disallow-Regeln. Sitemaps stehen unabhängig davon meist am Ende. Das folgende Muster zeigt den typischen Aufbau:
Muster einer robots.txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /warenkorb/
Disallow: /*?s=
User-agent: GPTBot
Disallow: /
Sitemap: https://www.deine-domain.de/sitemap-index.xmlWas ist aus dem Google robots.txt-Tester geworden?
Viele suchen weiterhin nach dem Google robots.txt-Tester. Das klassische Werkzeug in der alten Search Console wurde Ende 2023 abgeschaltet. Google stellt die Prüfung heute über den robots.txt-Bericht und die URL-Prüfung in der Search Console bereit, beides mit Login und für verifizierte Properties. Für eine schnelle Kontrolle einzelner URLs ohne Anmeldung eignet sich ein eigenständiger Tester wie dieser, der dieselben Auswertungsregeln anwendet.
robots.txt einfügen
Öffne deine-domain.de/robots.txt, kopiere den Inhalt und füge ihn in das große Feld ein. Über Beispiel laden startest du mit einer Muster-Datei.
URLs eintragen
Trage die Pfade oder vollständigen URLs ein, die du prüfen willst, einen pro Zeile. Dieser Schritt ist optional.
User-Agent wählen
Lege fest, aus Sicht welches Bots getestet wird, etwa Googlebot oder GPTBot. Standard ist die Gruppe für alle Bots.
Ergebnis prüfen
Klicke auf Jetzt testen. Du siehst pro URL erlaubt oder blockiert, die greifende Regel, gefundene Sitemaps und alle Syntax-Hinweise.
Häufige Fragen zum robots.txt Tester
Antworten zu Funktionsweise, Datenschutz und der Auswertung deiner robots.txt.
Ist der robots.txt-Tester kostenlos?
Ja. Der robots.txt-Tester von sagemedia ist vollständig kostenlos und ohne Anmeldung nutzbar. Du fügst deine robots.txt ein und siehst sofort im Browser, welche URLs erlaubt und welche blockiert sind.
Werden meine Daten hochgeladen oder gespeichert?
Nein. Die gesamte Prüfung läuft direkt in deinem Browser. Deine robots.txt und die getesteten URLs verlassen dein Gerät nicht und werden weder an einen Server gesendet noch gespeichert.
Was ist der Unterschied zwischen robots.txt testen und validieren?
Beim Testen prüfst du eine konkrete URL gegen die Regeln und siehst, ob ein Bot sie crawlen darf. Beim Validieren kontrolliert das Tool die Syntax der Datei, also ob Direktiven wie User-agent, Disallow und Allow korrekt geschrieben sind. Dieser robots.txt-Tester macht beides in einem Schritt.
Für welche User-Agents kann ich meine robots.txt testen?
Du wählst oben den Bot aus, aus dessen Sicht getestet wird, zum Beispiel Googlebot, Bingbot, Google-Extended oder GPTBot. Das Tool sucht die passende Regelgruppe für diesen User-Agent und fällt auf die Gruppe für alle Bots (*) zurück, wenn keine spezifische existiert.
Wo finde ich die robots.txt einer Website?
Die robots.txt liegt immer im Wurzelverzeichnis einer Domain, also unter deine-domain.de/robots.txt. Rufe diese Adresse im Browser auf, kopiere den Inhalt und füge ihn oben in das Tool ein, um die Regeln anzuzeigen und zu prüfen.
Warum blockiert meine robots.txt eine wichtige Seite?
Meist liegt es an einer zu weit gefassten Disallow-Regel oder einem Platzhalter mit Stern, der mehr Pfade trifft als beabsichtigt. Der Tester zeigt dir pro URL genau die Regel an, die greift, sodass du die betroffene Zeile gezielt anpassen kannst.
Gibt es den Google robots.txt-Tester noch?
Der klassische robots.txt-Tester in der alten Google Search Console wurde Ende 2023 abgeschaltet. Google prüft die robots.txt heute über den robots.txt-Bericht und die URL-Prüfung in der Search Console. Für eine schnelle Kontrolle ohne Login nutzt du einen Tester wie diesen.
