AI-bots toegang geven tot je website: GPTBot, ClaudeBot en Google-Extended uitgelegd

Steeds meer gasten vragen niet Google, maar ChatGPT of Perplexity om een restaurantip voor vanavond. Handig, want binnen een paar seconden rolt er een concreet lijstje uit. Minder handig als jouw zaak daar niet bij staat, terwijl je site verder prima op orde is. Een onderschatte oorzaak: de AI-bot die je site moet uitlezen, komt er niet in.

Wat zijn AI-bots?

Naast de bekende zoekmachine-bots zoals Googlebot sturen AI-bedrijven eigen crawlers over het web om websites te lezen. Die AI-bots verzamelen de content waarmee een assistent een antwoord opbouwt, of waarmee een model getraind wordt. De belangrijkste die je tegenkomt:

• GPTBot: de crawler van OpenAI, gebruikt voor ChatGPT.
• ClaudeBot: de crawler van Anthropic, gebruikt voor Claude.
• PerplexityBot: gebruikt door Perplexity om actuele antwoorden op te bouwen.
• Google-Extended: bepaalt los van de gewone Googlebot of Gemini en Google’s AI-samenvattingen je content mogen gebruiken.
• Applebot-Extended: voor Apple Intelligence.
• CCBot: de crawler van Common Crawl, een databron waarmee veel AI-modellen mede zijn getraind.

Elke bot heeft in je robots.txt een eigen regel. Staat die er niet, of staat er een Disallow bij, dan mag die specifieke bot je pagina’s niet lezen.

Waarom dit zo belangrijk is voor je vindbaarheid in AI

Een AI-assistent kan alleen aanraden wat hij kan lezen. Blokkeer je GPTBot, dan kan ChatGPT je restaurant simpelweg niet citeren, hoe goed je menu of je service ook is. Dat raakt direct aan je AI-vindbaarheid: de mate waarin je zaak opduikt in AI-antwoorden en AI-samenvattingen.

Het venijnige zit in het woordje “per ongeluk”. Weinig ondernemers blokkeren een AI-bot met opzet. Het gebeurt vaker via een beveiligingsplugin, een hostingpakket met een standaard firewallregel, of een robots.txt die ooit is ingesteld en nooit meer is nagekeken.

Hoe je site AI-bots per ongeluk blokkeert

Een robots.txt-bestand is in principe onschuldig: het regelt netjes welke bots welke delen van je site mogen bezoeken. Maar sommige beveiligingsinstellingen voegen daar breed geformuleerde regels aan toe, zoals “blokkeer alle onbekende bots” of “blokkeer alles wat op een AI-crawler lijkt”. Bedoeld om scrapers en spam te weren, maar zo’n regel raakt vaak ook precies de AI-bots die je wilt binnenlaten.

Ook een firewall bij je hosting of een los beveiligingspakket kan bots blokkeren op basis van hun user-agent, zonder dat je dat in je eigen site-instellingen terugziet.

Zo controleer je welke AI-bots toegang hebben

1. Open jouwdomein.nl/robots.txt in je browser.
2. Zoek naar regels die beginnen met User-agent: GPTBot, ClaudeBot, PerplexityBot, Google-Extended of Applebot-Extended.
3. Staat daar een Disallow: / bij zo’n user-agent, dan is die bot volledig geblokkeerd.
4. Zie je die user-agents helemaal niet terug, dan geldt meestal de algemene regel onderaan het bestand. Vaak is dat toestemming, maar niet altijd, dus check hem.
5. Twijfel je, test het bestand met een gratis online robots.txt-checker en vul de naam van de bot in.
6. Kom je er zelf niet uit, vraag je hostingpartij of platform of er los van je robots.txt nog een firewallregel actief is voor AI-bots.

Wanneer blokkeren wél verstandig kan zijn

Niet elke bot hoeft zomaar binnen. Sommige ondernemers willen bewust niet dat hun content wordt gebruikt om AI-modellen te trainen, los van of ze in een antwoord willen verschijnen. Dat onderscheid bestaat: je kunt bijvoorbeeld toestemming geven aan bots die live antwoorden ophalen, en trainingscrawlers zoals CCBot apart blokkeren. Twijfel je over wat bij jouw zaak past, kies dan bewust per bot in plaats van alles in één keer te blokkeren of toe te laten.

Zo past dit in je bredere AI-vindbaarheid

Toegang voor AI-bots is de basis: zonder toegang lezen ze je site niet, met of zonder mooie content. Daarna pas tellen de andere bouwstenen, zoals een llms.txt die AI-assistenten naar je belangrijkste pagina’s wijst, en gestructureerde data over je keuken, locatie en menu. Wil je in één overzicht zien hoe je site er in zijn geheel voor staat, inclusief deze bottoegang, gebruik dan je AI Visibility Score.

Wil je zeker weten dat AI-bots welkom zijn op je site? Probeer Sitebite gratis en laat de technische basis, van sitemap tot bottoegang, automatisch goed staan.