Validiere deine robots.txt
Prüfe Syntaxfehler, KI-Bot-Blockierung (GPTBot, Claude, CCBot), IETF- und Cloudflare-Signale und teste Pfade – bevor du live gehst.
Probieren: · ·
So prüfst du deine robots.txt
Hänge /robots.txt an deine Domain — es ist die erste Datei, die jeder Crawler anfragt.
Abrufen oder einfügen
Gib deine Domain ein, um die Live-Datei zu laden, oder füge einen Entwurf ein, um Änderungen vor dem Livegang zu testen.
KI-Bot-Audit
Sieh, welche KI-Crawler — GPTBot, ClaudeBot, CCBot, Google-Extended — blockiert, erlaubt oder nicht erwähnt sind.
Beliebigen Pfad testen
Nach der Validierung prüfe, ob ein bestimmter URL-Pfad für einen User-Agent erlaubt oder verweigert wird.
Häufige robots.txt-Fehler
Fehlender User-agent
Regeln wie Disallow: /admin/ müssen von einer User-agent:-Zeile eingeleitet werden, sonst ignorieren Bots sie.
Relative Sitemap-URLs
Sitemap-Direktiven erfordern absolute URLs. Sitemap: /sitemap.xml ist ungültig und wird ignoriert.
Assets blockieren
Das Blockieren von /_next/ oder /assets/ verhindert, dass Google deine Seite korrekt rendert — schadet dem SEO.
Widersprüchliche Regeln
Sowohl Allow: / als auch Disallow: / für denselben Agent können zu unvorhersehbarem Bot-Verhalten führen.
Häufig gestellte Fragen
Was prüft ein robots.txt-Validator?
Syntaxfehler, ungültige Direktiven, fehlende User-agent-Deklarationen, Sitemap-URL-Format, KI-Crawler-Regeln und Content-Usage-/Content-Signal-Direktiven.
Wie erkenne ich, ob meine robots.txt KI-Bots blockiert?
Nach der Prüfung sieh dir die KI-Crawler-Status-Tabelle an. Sie zeigt, ob GPTBot, ClaudeBot, CCBot und andere blockiert, erlaubt oder nicht explizit erwähnt sind.
Wie teste ich, ob eine bestimmte URL blockiert ist?
Nutze den Pfad-Tester unten. Gib einen Pfad wie /admin/ ein und wähle einen User-Agent, um zu sehen, ob der Zugriff erlaubt oder verweigert würde.
Warum crawlt Google trotzdem Seiten, die ich blockiert habe?
robots.txt schlägt nur Crawl-Verhalten vor — es erzwingt nichts. Disallow verhindert Crawling, aber nicht Indexierung. Für echtes Blockieren nutze meta robots noindex oder Passwortschutz.
Finde heraus, ob KI dich empfiehlt
Eine Domain, fünf Minuten – und du weißt genau, wo du stehst. *Keine Karte nötig.
Kostenloser Report · Keine Kreditkarte · Ergebnis in ~5 Minuten
Kostenlose Tools
Mehr kostenlose AEO-Tools
Keine Anmeldung, kein Haken. Entwickelt, damit dich KI findet, zitiert und empfiehlt.