AI-Crawler-robots.txt

Lass die richtigen KI-Bots dich crawlen

Wähle, welche KI-Crawler deine Website lesen dürfen, und wir bauen eine saubere robots.txt. Blockierst du GPTBot, kannst du in ChatGPT nicht zitiert werden – wähle also sorgfältig.

ChatGPT SearchZitate

Treibt die Live-Antworten von ChatGPT an

OpenAI GPTBotZitate

OpenAI-Crawling & -Training

ChatGPT BrowsingZitate

Browsing auf Abruf in ChatGPT

PerplexityBotZitate

Indexiert Seiten für Perplexity

Perplexity UserZitate

Live-Abrufe für Antworten

ClaudeBotZitate

Anthropic-Crawler (Claude)

Claude WebZitate

Claude Live-Browsing

Google-ExtendedZitate

Gemini & AI Overviews

Applebot-ExtendedZitate

Apple Intelligence

AmazonbotZitate

Amazon / Alexa AI

CCBot (Common Crawl)

Speist viele offene Modelle

Bytespider

ByteDance / TikTok AI

Alle anderen Crawler blockieren

Setzt User-agent: * auf Disallow

robots.txt
# robots.txt — generated by Aeoix (aeoix.com/tools/ai-robots-generator)

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

# Standard search crawlers
User-agent: *
Allow: /

Speichere als robots.txt im Stammverzeichnis deiner Website. Wenn du einen Bot blockierst, kann diese Engine dich nicht zitieren.

Warum KI-Crawler-Zugriff wichtig ist

Bevor du in KI-Antworten erscheinen kannst, müssen die Answer Engines dich lesen dürfen.

Blockiert heißt nicht zitiert

Wenn GPTBot oder ClaudeBot dich nicht crawlen können, können diese Engines deine Seiten schlicht nicht zitieren. Zugriff ist Schritt null für AEO.

Zitier-Bots vs. Trainer

Manche Crawler treiben Live-Antworten an (ChatGPT Search, PerplexityBot); andere trainieren nur Modelle. Wir kennzeichnen, was was ist.

Eine Datei, volle Kontrolle

Erlaube die Engines, die dir Käufer schicken, blockiere die, die du nicht willst, und liefere eine einzige saubere robots.txt aus.

Finde heraus, ob KI dich empfiehlt

Eine Domain, fünf Minuten – und du weißt genau, wo du stehst. *Keine Karte nötig.

Kostenloser Report · Keine Kreditkarte · Ergebnis in ~5 Minuten

Kostenlose Tools

Mehr kostenlose AEO-Tools

Keine Anmeldung, kein Haken. Entwickelt, damit dich KI findet, zitiert und empfiehlt.