AI-crawlers in robots.txt: welke laat je binnen?

Kort antwoord: wil je dat ChatGPT, Claude en Perplexity je bedrijf kunnen noemen, laat dan in elk geval hun zoekrobots binnen: OAI-SearchBot, Claude-SearchBot en PerplexityBot. De robots die teksten verzamelen om AI-modellen te trainen (zoals GPTBot en ClaudeBot) mag je blokkeren als je dat liever niet hebt. Dat heeft geen invloed op de zoekfuncties.

Elke website heeft een bestandje robots.txt (jouwwebsite.nl/robots.txt). Daarin staat welke robots je website mogen lezen. Eén regel te veel en een AI-assistent slaat je website over. In onze scan van twintig grote websites hielden zeven van de dertien gescande sites minstens één AI-robot tegen.

Drie soorten AI-robots

De meeste AI-bedrijven gebruiken meerdere robots, elk met een eigen taak:

1. Zoekrobots lezen je website zodat de AI-assistent je kan vinden en als bron kan noemen. Deze wil je binnen hebben.
2. Trainingsrobots verzamelen teksten om toekomstige AI-modellen te trainen. Dit is een keuze: sommige bedrijven willen niet dat hun teksten daarvoor gebruikt worden.
3. Gebruikersrobots halen een pagina op zodra een gebruiker erom vraagt, bijvoorbeeld als iemand een link in ChatGPT plakt.

Wie alle AI-robots blokkeert om training tegen te houden, blokkeert ook de zoekfunctie. Die fout komen we vaak tegen.

Overzicht: de belangrijkste AI-crawlers

Twee dingen die vaak verkeerd begrepen worden:

• Google-Extended is geen aparte robot. Het is een instructie voor Google. Blokkeer je Google-Extended, dan blijf je gewoon in Google en in de AI-antwoorden bovenaan Google (AI Overviews). Daarvoor gebruikt Google de gewone Googlebot.
• Copilot van Microsoft gebruikt de index van Bing. Daarvoor is er geen aparte AI-robot; Bingbot moet je website gewoon kunnen lezen.

Hoe ziet een goede robots.txt eruit?

Staat er in je robots.txt alleen User-agent: * met een paar uitzonderingen voor beheerpagina’s, dan mogen alle robots erin. Dan hoef je niets te doen.

Wil je AI-training blokkeren maar wel gevonden worden, dan ziet het er zo uit:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://jouwwebsite.nl/sitemap_index.xml

De zoekrobots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) staan er niet apart in. Zij vallen onder User-agent: * en mogen dus alles lezen behalve de beheerpagina’s.

Zie je dit, dan heb je een probleem:

User-agent: OAI-SearchBot
Disallow: /

of een regel User-agent: * gevolgd door Disallow: /. Dan mag geen enkele robot je website lezen, ook Google niet.

Zo controleer en wijzig je het

1. Bekijk je robots.txt: typ jouwwebsite.nl/robots.txt in je browser.
2. Zoek de namen uit de tabel. Staat een zoekrobot met Disallow: /, haal die regel dan weg.
3. In WordPress pas je robots.txt meestal aan via je SEO-plugin. In Rank Math: Algemene instellingen → Robots.txt bewerken. In Yoast: Hulpmiddelen → Bestandseditor.
4. Wacht even. Robots lezen robots.txt niet elke minuut opnieuw. OpenAI noemt ongeveer een dag voordat een wijziging effect heeft.
5. Controleer je beveiliging. Ook als het bestand goed staat, kan je beveiliging of hosting AI-robots tegenhouden. Lees Blokkeert jouw website AI per ongeluk?

Liever niet zelf zoeken? De gratis AI-scan controleert zeven AI-robots in je robots.txt en test of vier ervan ook echt langs je beveiliging komen.

Moet ik trainingsrobots blokkeren?

Dat kies je zelf. Technisch is allebei in orde.

• Wel blokkeren als je teksten je product zijn: een uitgever, een cursusaanbieder, iemand die betaald onderzoek publiceert.
• Niet blokkeren als je vooral gevonden wilt worden: een dienstverlener, een winkel, een lokaal bedrijf. Wat een AI-model tijdens de training over je leert, kan later helpen als iemand naar jouw vakgebied vraagt.

Voor de meeste MKB-bedrijven is ons advies: laat alles toe, tenzij je een duidelijke reden hebt om dat niet te doen.

Veelgestelde vragen

Wat is ClaudeBot? ClaudeBot is de robot van Anthropic die teksten verzamelt om de Claude-modellen te trainen. Blokkeer je hem, dan kan Claude je website nog steeds vinden en noemen via Claude-SearchBot en Claude-User. Je verliest dus geen zichtbaarheid in de zoekfunctie van Claude.

Houden AI-robots zich aan robots.txt? De grote partijen zeggen van wel voor hun zoek- en trainingsrobots. Voor robots die een pagina ophalen op verzoek van een gebruiker gelden bij sommige aanbieders andere regels. robots.txt is een afspraak, geen slot: wil je echt iets afschermen, zet het dan achter een inlog.

Als ik GPTBot blokkeer, verdwijn ik dan uit ChatGPT? Nee. GPTBot is voor training. Voor de zoekfunctie van ChatGPT gebruikt OpenAI OAI-SearchBot. Zolang die erin mag, kun je in de zoekresultaten van ChatGPT verschijnen.

Moet ik elke AI-robot apart toestaan? Nee. Robots die niet apart genoemd worden, volgen de regels onder User-agent: *. Je hoeft ze alleen apart te noemen als je ze iets anders wilt laten doen.

Waar staat robots.txt in WordPress? WordPress maakt hem automatisch aan. Je ziet hem op jouwwebsite.nl/robots.txt en past hem aan via je SEO-plugin. Staat er een echt bestand robots.txt in de hoofdmap van je hosting, dan gaat dat bestand voor.

Laat het controleren

Doe de gratis AI-scan: binnen een minuut zie je welke AI-robots je website mogen lezen. Wil je dat wij het goed zetten, inclusief schema, llms.txt en een scan voor en na? Dat doen we in AI-basis op orde voor €249.