robots.txt-Tester
Fügen Sie Ihre robots.txt ein, geben Sie URL und User-Agent an und sehen Sie sofort, ob der Zugriff erlaubt oder gesperrt ist – samt der Regel, die entscheidet.
Tool
So funktioniert es
- Inhalt Ihrer robots.txt in das Textfeld einfügen.
- URL oder Pfad eingeben, den Sie prüfen möchten.
- User-Agent wählen, zum Beispiel Googlebot, Bingbot oder GPTBot.
- Ergebnis und entscheidende Regel ablesen, Datei bei Bedarf anpassen und erneut testen.
Das Tool läuft ausschließlich in Ihrem Browser. Ihre robots.txt und Ihre Eingaben werden weder übertragen noch gespeichert.
Wofür ist der robots.txt-Tester?
Die robots.txt steuert, welche Bereiche Ihrer Website Crawler abrufen dürfen. Ein Fehler kann wichtige Seiten aussperren oder Bereiche öffnen, die privat bleiben sollen. Mit dem Tester prüfen Sie Änderungen, bevor sie live gehen, und sehen, welche Regel nach den Auswertungsregeln von Google den Ausschlag gibt. Der Inhalt wird eingefügt, weil Browser die robots.txt fremder Seiten nicht abrufen können.
Darauf sollten Sie achten
Crawling ist nicht Indexierung
Die robots.txt verhindert nur das Abrufen. Eine gesperrte Seite kann trotzdem ohne Inhalt im Index erscheinen. Für den Ausschluss aus der Suche nutzen Sie noindex, die Seite muss dafür crawlbar sein.
Längste Regel gewinnt
Bei Google entscheidet die spezifischste, also längste passende Regel. Bei gleicher Länge gewinnt Allow. Die Reihenfolge der Zeilen spielt dafür keine Rolle.
Wildcards und Dollarzeichen
Der Stern steht für beliebige Zeichen, das Dollarzeichen am Ende verankert die URL. Mit „Disallow: /*.pdf$“ sperren Sie gezielt Dateien, die auf .pdf enden.
Gruppen pro User-Agent
Ein Crawler folgt der Gruppe, die zu seinem Namen am besten passt, sonst der Gruppe für *. Regeln aus anderen Gruppen werden nicht ergänzt. Wiederholen Sie gemeinsame Regeln deshalb.
KI-Crawler gezielt ansprechen
GPTBot, ClaudeBot oder PerplexityBot lassen sich per User-Agent steuern. Google-Extended ist ein Produkt-Token und kein eigener Crawler. Entscheiden Sie bewusst, was Sie erlauben.
Typische Fehler
Gesamte Website versehentlich gesperrt
„Disallow: /“ unter „User-agent: *“ sperrt alles. Das bleibt nach Relaunches oder Staging-Übernahmen oft unbemerkt. Testen Sie vor jedem Livegang die Startseite.
robots.txt am falschen Ort
Die Datei muss im Stammverzeichnis jedes Hosts und Protokolls liegen. Für Subdomains oder http und https gelten jeweils eigene Dateien.
Groß- und Kleinschreibung ignoriert
Pfade sind in der robots.txt case-sensitive. „/Blog/“ und „/blog/“ sind verschiedene Pfade, die Regel greift nur bei exakter Schreibweise.
Crawl-delay erwartet
Google ignoriert die Anweisung crawl-delay. Wer das Crawling bremsen will, braucht andere Mittel. Andere Crawler können sie unterschiedlich behandeln.
Häufige Fragen
Entfernt Disallow eine Seite aus Google?
Nein. Disallow verhindert nur das Crawlen. Die URL kann ohne Inhalt weiter im Index stehen. Zum Entfernen setzen Sie noindex auf eine crawlbare Seite.
Warum muss ich die robots.txt einfügen?
Browser dürfen die robots.txt fremder Domains aus Sicherheitsgründen nicht direkt abrufen. Kopieren Sie den Inhalt einfach aus der Adresse domain.de/robots.txt.
Kann ich KI-Crawler wie GPTBot aussperren?
Ja, über einen eigenen Block mit dem jeweiligen User-Agent und Disallow. Das ist eine Bitte an den Crawler und beruht auf dessen Beachtung der robots.txt.
Passende Leistungen
Passende Lösungen
Passende Technologien
Passende Branchen
Weitere Tools
Crawling sauber steuern?
Wir prüfen Ihre robots.txt und Indexierung im kostenlosen Potenzialgespräch und zeigen, was Sie für Sichtbarkeit tun können.