Steuere, wer deine Website crawlt
Erstelle robots.txt-Dateien mit KI-Bot-Blockierung. Blockiere GPTBot, Claude-Web, CCBot und 15 KI-Crawler. Teste Regeln und lade sofort herunter.
Regeln
Sitemap-URLs
# robots.txt — generated by AeoIX (aeoix.com/tools/robots-txt-generator)
User-agent: *
Allow: /
Speichere als robots.txt im Stammverzeichnis deiner Website (z. B. deinefirma.de/robots.txt).
Regeln testen
Zugriff erlaubt!
User-agent: * Allow: /
Warum robots.txt noch wichtig ist
Es ist das erste Tor, das jeder Crawler passiert – Suchmaschinen und KI-Bots gleichermaßen.
KI-Scraper blockieren
Verhindere, dass GPTBot, Claude-Web und CCBot deine Inhalte zum Trainieren von Modellen oder für Antworten ohne Quellenangabe nutzen.
Such-Crawler lenken
Füge Sitemap-URLs hinzu, schütze Admin-Pfade und halte Staging-Seiten aus dem Index.
Vor dem Livegang testen
Prüfe, ob ein Pfad für einen User-Agent erlaubt oder blockiert ist, bevor du robots.txt ins Stammverzeichnis legst.
Finde heraus, ob KI dich empfiehlt
Starte deine kostenlose Testphase — in fünf Minuten weißt du genau, wo du stehst.
7 Tage kostenlos testen · Karte erforderlich · 5 Minuten
Kostenlose Tools
Mehr kostenlose AEO-Tools
Keine Anmeldung, kein Haken. Entwickelt, damit dich KI findet, zitiert und empfiehlt.