Kort antwoord: vaak wel, zonder dat de eigenaar het weet. Ook als je robots.txt goed staat, kunnen Cloudflare, een beveiligingsplugin zoals Wordfence of de firewall van je hosting AI-robots tegenhouden. Voor ChatGPT, Claude of Perplexity bestaat je website dan niet. Je controleert het in een minuut met de gratis AI-scan.
Toen we twintig grote websites scanden, lieten zes ervan onze scanner niet eens binnen. Hun beveiliging hield een onbekende bezoeker tegen. Bij grote merken is dat vaak een bewuste keuze. Bij een MKB-website is het bijna altijd een instelling die niemand ooit heeft bekeken.
Waar het mis kan gaan
Een AI-robot moet langs drie poorten voordat hij je tekst kan lezen:
- robots.txt: mag ik erin? Lees AI-crawlers in robots.txt voor de juiste instellingen.
- De beveiliging: laat de firewall mij door, of krijg ik een foutmelding of een “ben je een mens?”-scherm?
- De pagina zelf: staat de tekst in de pagina, of zit hij achter een cookiemelding, een inlog of JavaScript?
De meeste mensen kijken alleen naar poort 1. Dit artikel gaat over poort 2 en 3.
1. Cloudflare
Cloudflare beschermt een groot deel van alle websites en heeft verschillende instellingen die AI-robots tegenhouden:
- AI-robots blokkeren: een schakelaar die bekende AI-crawlers weigert. Bij nieuwe websites staat die sinds medio 2025 vaak standaard aan.
- Bot Fight Mode: houdt geautomatiseerd verkeer tegen, en daar horen AI-robots ook bij.
- Beheerde robots.txt: Cloudflare kan zelf regels aan je robots.txt toevoegen die AI-robots weigeren.
Wat te doen: kijk in je Cloudflare-dashboard bij de instellingen voor bots en AI-crawlers. Zet de zoekrobots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) op toestaan. Laat je website beheren door een bureau, vraag hen dan om dit te controleren.
2. Beveiligingsplugins
WordPress-plugins zoals Wordfence, Sucuri of iThemes Security beschermen tegen hackers. Ze herkennen bezoekers die veel pagina’s snel achter elkaar opvragen, en dat doet een robot nu eenmaal. Gevolg: de AI-robot krijgt een foutmelding (vaak “403 Forbidden”) of wordt tijdelijk geblokkeerd.
We kwamen het zelf tegen op onze eigen website: Wordfence weigerde verzoeken van een onbekende afzender, terwijl gewone bezoekers niets merkten.
Wat te doen: kijk in het logboek van je plugin (bij Wordfence: Live Traffic) of verzoeken van GPTBot, ClaudeBot of PerplexityBot geblokkeerd worden. Zet de limieten voor crawlers niet te streng, maar zet de beveiliging zelf niet uit.
3. De firewall van je hosting
Veel hostingpartijen hebben een eigen firewall voor al hun klanten. Daar heb je zelf meestal geen knoppen voor.
Wat te doen: vraag je hostingpartij of AI-crawlers zoals GPTBot, OAI-SearchBot, ClaudeBot en PerplexityBot je website mogen bezoeken. Een goede hoster kan dat in een paar minuten nakijken.
4. Cookiemeldingen, inlogschermen en JavaScript
Ook als de robot binnenkomt, kan hij soms niets lezen:
- Een cookiemelding die de hele pagina afdekt. Bij nu.nl kwam onze scanner niet verder dan de cookiemelding.
- Tekst achter een inlog of in een afgeschermd klantportaal.
- Tekst die pas met JavaScript verschijnt, bijvoorbeeld in een slider of een website die als app is gebouwd. AI-robots voeren lang niet altijd JavaScript uit en zien dan een lege pagina.
- Een “noindex”-instelling op de pagina, bijvoorbeeld nog van toen de website in aanbouw was.
Wat te doen: zorg dat je belangrijkste tekst (wat je doet, voor wie, waar, je prijzen) gewoon in de pagina staat, zonder dat je eerst iets hoeft aan te klikken.
Zelf testen
- Snel en zonder techniek: doe de gratis AI-scan. Die controleert je robots.txt voor zeven AI-robots en probeert je homepage op te halen als GPTBot, OAI-SearchBot, ClaudeBot en PerplexityBot. Krijgen die een foutmelding, dan zie je dat bovenaan je rapport.
- Voor wie de terminal kent:
curl -I -A "GPTBot" https://jouwwebsite.nllaat zien welke statuscode een verzoek met die naam krijgt. 200 is goed; 403, 429 of 503 betekent dat er iets tegenhoudt.
Een kanttekening: sommige firewalls controleren niet alleen de naam van de robot, maar ook waar het verzoek vandaan komt. Een test met een nagemaakte naam kan dus anders uitpakken dan een bezoek van de echte robot. Twijfel je, kijk dan in de logboeken van je hosting of plugin.
Veelgestelde vragen
Is het erg als AI-robots tegengehouden worden? Als je gevonden wilt worden wel. Een AI-assistent kan je dan niet als bron gebruiken en noemt eerder een concurrent die wel leesbaar is.
Wordt mijn website onveiliger als ik AI-robots toelaat? Nee. Je zet niet je beveiliging uit, je laat alleen bekende robots door die je pagina’s lezen, net als Googlebot. Inlogpagina’s en beheerpagina’s blijven afgeschermd.
Hoe snel zie ik resultaat na een aanpassing? De robots komen meestal binnen enkele dagen terug. Of AI-assistenten je daarna ook gaan noemen, hangt af van je inhoud en van hoe vaak je elders genoemd wordt. Lees daarover Hoe kom ik in ChatGPT?
Ik heb geen idee welke instellingen mijn websitebouwer heeft gebruikt. Dat is heel gewoon. Begin met de AI-scan en stuur het rapport naar je websitebouwer, of laat het ons regelen.
Laat het nakijken
Met AI-basis op orde zetten we robots.txt, beveiliging en de rest van de techniek goed, en laten we met een nieuwe scan zien dat AI-robots je website kunnen lezen. €249 eenmalig, klaar binnen 5 werkdagen.