Neben den bekannten Suchmaschinen-Bots wie Googlebot schicken KI-Unternehmen eigene Crawler durchs Web, um Websites zu lesen. Diese KI-Bots sammeln die Inhalte, mit denen ein Assistent eine Antwort aufbaut, oder mit denen ein Modell überhaupt trainiert wird. Die wichtigsten, die dir begegnen: GPTBot – der Crawler von OpenAI, genutzt für ChatGPT. ClaudeBot – der Crawler von Anthropic, genutzt für Claude. PerplexityBot – genutzt von Perplexity, um aktuelle Antworten aufzubauen. Google-Extended – entscheidet, unabhängig vom normalen Googlebot, ob Gemini und Googles KI-Übersichten deine Inhalte nutzen dürfen. Applebot-Extended – für Apple Intelligence. CCBot – der Crawler von Common Crawl, einer Datenquelle, mit der viele KI-Modelle mit trainiert wurden. Jeder Bot hat in deiner robots.txt eine eigene Regel. Fehlt die, oder steht dort ein Disallow, darf genau dieser Bot deine Seiten nicht lesen.

Zurück zur Wissensdatenbank

KI-Sichtbarkeit

KI-Bots Zugang zu deiner Website geben: GPTBot, ClaudeBot und Google-Extended erklärt

Serverraum mit Netzwerktechnik, die KI-Crawlern und Suchmaschinen Zugang zu einer Website gibt

Immer mehr Gäste fragen nicht mehr Google, sondern ChatGPT oder Perplexity nach einem Restaurant-Tipp für heute Abend. Praktisch, denn ein guter KI-Assistent liefert innerhalb von Sekunden eine kurze, konkrete Auswahl. Weniger praktisch, wenn dein Restaurant dabei nie auftaucht, obwohl deine Website sonst top in Ordnung ist. Ein oft übersehener Grund: Der KI-Bot, der deine Seite lesen müsste, kommt gar nicht erst rein.

Was sind KI-Bots?

Neben den bekannten Suchmaschinen-Bots wie Googlebot schicken KI-Unternehmen eigene Crawler durchs Web, um Websites zu lesen. Diese KI-Bots sammeln die Inhalte, mit denen ein Assistent eine Antwort aufbaut, oder mit denen ein Modell überhaupt trainiert wird. Die wichtigsten, die dir begegnen:

GPTBot – der Crawler von OpenAI, genutzt für ChatGPT.
ClaudeBot – der Crawler von Anthropic, genutzt für Claude.
PerplexityBot – genutzt von Perplexity, um aktuelle Antworten aufzubauen.
Google-Extended – entscheidet, unabhängig vom normalen Googlebot, ob Gemini und Googles KI-Übersichten deine Inhalte nutzen dürfen.
Applebot-Extended – für Apple Intelligence.
CCBot – der Crawler von Common Crawl, einer Datenquelle, mit der viele KI-Modelle mit trainiert wurden.

Jeder Bot hat in deiner robots.txt eine eigene Regel. Fehlt die, oder steht dort ein Disallow, darf genau dieser Bot deine Seiten nicht lesen.

Warum das für deine Sichtbarkeit in der KI so wichtig ist

Ein KI-Assistent kann nur empfehlen, was er auch lesen kann. Blockierst du GPTBot, kann ChatGPT dein Restaurant schlicht nicht zitieren, egal wie gut dein Menü oder dein Service ist. Das trifft direkt deine KI-Sichtbarkeit: wie oft dein Restaurant in KI-Antworten und KI-Zusammenfassungen auftaucht.

Das Tückische liegt im Wort „aus Versehen“. Kaum ein Gastronom blockiert einen KI-Bot absichtlich. Meist passiert es über ein Sicherheits-Plugin, ein Hosting-Paket mit einer breiten Standard-Firewallregel, oder eine robots.txt, die einmal eingerichtet und nie wieder angeschaut wurde.

Wie deine Website KI-Bots aus Versehen blockiert

Eine robots.txt-Datei ist an sich harmlos: Sie regelt ordentlich, welche Bots welche Teile deiner Website besuchen dürfen. Manche Sicherheitseinstellungen fügen aber breit formulierte Regeln hinzu, etwa „alle unbekannten Bots blockieren“ oder „alles blockieren, was wie ein KI-Crawler aussieht“. Gedacht, um Scraper und Spam abzuwehren, trifft eine solche Regel aber oft genau die KI-Bots, die du eigentlich willkommen heißen wolltest.

Auch eine Firewall bei deinem Hoster oder ein separates Sicherheitspaket kann Bots anhand ihres User-Agents blockieren, ohne dass das in deinen eigenen Website-Einstellungen auftaucht.

So prüfst du, welche KI-Bots Zugang haben

Öffne deinedomain.de/robots.txt in deinem Browser.
Suche nach Regeln, die mit User-agent: GPTBot, ClaudeBot, PerplexityBot, Google-Extended oder Applebot-Extended beginnen.
Steht dort ein Disallow: / bei einem dieser User-Agents, ist dieser Bot komplett blockiert.
Findest du diese User-Agents gar nicht, gilt meist die allgemeine Regel am Ende der Datei. Oft ist das Erlaubnis, aber nicht immer, also prüfe sie.
Unsicher? Teste die Datei mit einem kostenlosen Online-robots.txt-Checker und gib den Namen des Bots ein.
Kommst du nicht weiter, frag deinen Hoster oder dein Plattform, ob unabhängig von deiner robots.txt eine Firewallregel für KI-Bots aktiv ist.

Wann Blockieren tatsächlich sinnvoll ist

Nicht jeder Bot muss automatisch reindürfen. Manche Gastronomen wollen bewusst nicht, dass ihre Inhalte zum Training von KI-Modellen genutzt werden, unabhängig davon, ob sie in einer Antwort auftauchen möchten. Diese Unterscheidung gibt es: Du kannst zum Beispiel Bots erlauben, die live Antworten abrufen, und Trainings-Crawler wie CCBot separat blockieren. Bist du unsicher, was zu deinem Betrieb passt, entscheide pro Bot statt alles auf einmal zu blockieren oder zuzulassen.

So passt das in deine größere KI-Sichtbarkeit

Zugang für KI-Bots ist die Grundlage: Ohne Zugang lesen sie deine Seite nicht, egal wie gut der Inhalt ist. Erst danach zählen die anderen Bausteine, wie eine llms.txt, die KI-Assistenten zu deinen wichtigsten Seiten leitet, und strukturierte Daten zu Küche, Standort und Menü. Willst du in einer Übersicht sehen, wie deine Website insgesamt aufgestellt ist, Bot-Zugang inklusive, dann nutzt du deinen AI Visibility Score.

Willst du sicher sein, dass KI-Bots auf deiner Website willkommen sind? Probiere Sitebite kostenlos und lass die technische Basis, von Sitemap bis Bot-Zugang, automatisch stimmen.