Blogs

Twee collega's achter hun laptops aan een donkere vergadertafel, een van hen wijst iets aan op het scherm van de ander

Blogs

Twee collega's achter hun laptops aan een donkere vergadertafel, een van hen wijst iets aan op het scherm van de ander

Blogs

Twee collega's achter hun laptops aan een donkere vergadertafel, een van hen wijst iets aan op het scherm van de ander

Je wilt dat ChatGPT je noemt, maar je wilt niet dat elke AI-partij je teksten gebruikt om te trainen. Dat kan: laat de bots die zoeken binnen en houd de bots die leren buiten. Elk AI-bedrijf stuurt zijn eigen bots, met eigen namen, en dat regel je allemaal in één klein bestand: robots.txt. Over llms.txt lees je veel, maar voor je vindbaarheid is robots.txt het bestand dat nu telt. In deze blog lees je welke bots er zijn en welke drie stappen je vandaag zet.

In het kort: AI-bots en robots.txt

  • OpenAI en Anthropic hebben elk een bot die leert (GPTBot, ClaudeBot) en een bot die zoekt (OAI-SearchBot, Claude-SearchBot).

  • Perplexity heeft alleen een zoekbot: PerplexityBot.

  • Je plek in de zoekantwoorden van ChatGPT hangt af van OAI-SearchBot, niet van GPTBot.

De 4 belangrijkste dingen om te weten over AI-bots

1. Er zijn bots die leren en bots die zoeken

Een trainingsbot leest je teksten om een AI-model slimmer te maken. Een zoekbot leest je pagina's om ze in een antwoord te tonen, vaak met een link naar je site. Bij OpenAI, Anthropic en Perplexity kies je die twee los van elkaar.

Bedrijf

Bot die leert

Bot die zoekt

OpenAI (ChatGPT)

GPTBot

OAI-SearchBot

Anthropic (Claude)

ClaudeBot

Claude-SearchBot

Perplexity

geen

PerplexityBot

Google

Google-Extended (alleen Gemini)

Googlebot (ook AI Overviews en AI Mode)

2. Je kiest per bot in robots.txt

robots.txt is een kort tekstbestand op jouwsite.nl/robots.txt. Per bot zet je erin of hij binnen mag. Allow: / betekent dat de bot alles mag lezen, Disallow: / dat hij niets mag lezen.

3. De grote AI-bedrijven houden zich aan robots.txt

OpenAI, Anthropic en Perplexity zeggen dat hun bots de regels in robots.txt volgen. robots.txt is wel een afspraak en geen slot. Volgens de officiële standaard horen bots de regels te volgen, maar een bot die ze negeert, kan je site nog steeds lezen. Wil je een bot echt buiten de deur houden, dan blokkeert je webbouwer of hostingpartij hem op de server.

4. Bij Google werkt het anders

Googlebot haalt je pagina's op voor de gewone zoekresultaten en voor AI Overviews en AI Mode. Die twee zet je met robots.txt dus niet los van elkaar. Google-Extended regelt alleen of Google je teksten gebruikt om Gemini te trainen. Wil je niet in AI Overviews en AI Mode staan, dan zet je dat in Search Console uit, onder Instellingen bij Search generative AI. Je gewone posities veranderen daar volgens Google niet door, maar je krijgt dan ook geen bezoek meer uit die AI-antwoorden.

Zo regel je het vandaag: 3 stappen

Stap 1. Kies wat je wilt bereiken

Wat wil je?

Wat zet je in robots.txt?

Resultaat

Gevonden worden, zonder training

zoekbots toelaten, trainingsbots blokkeren

je kunt in AI-antwoorden staan en je teksten blijven buiten de training

Alles open

niets voor AI-bots

elke AI-bot mag alles lezen en ervan leren

Alles dicht

alle AI-bots blokkeren

geen training, maar ook geen plek in de zoekantwoorden van ChatGPT

Wil je gevonden worden en je teksten zelf houden, kies dan de eerste rij.

Stap 2. Zet de regels in je robots.txt

Je past robots.txt aan in het beheer van je website, of je webbouwer doet het voor je. Voor de eerste rij plak je dit erin:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow:

Zet er Google-Extended met Disallow: / bij als je ook buiten de training van Gemini wilt blijven.

Stap 3. Controleer of het klopt, ook bij je hosting

Open jouwsite.nl/robots.txt in je browser en kijk of de regels erin staan. Kijk daarna in Google Search Console of Google je belangrijkste pagina's nog kan bereiken.

Gebruik je Cloudflare, kijk dan ook daar. Cloudflare deelt AI-bots in als Search, Agent en Training, en blokkeert op nieuwe domeinen sinds 15 september 2026 standaard de Training- en Agent-bots op pagina's met advertenties. Kies je Block voor Training, dan geldt dat volgens Cloudflare ook voor Googlebot. Wil je alleen training weren, kies dan Disallow AI Training. Kijk ook of een beveiligingsplugin of botbeveiliging je zoekbots niet tegenhoudt.

Wat is llms.txt en heb je het nodig?

llms.txt is een tekstbestand dat AI-modellen naar je belangrijkste pagina's wijst. Het is in 2024 voorgesteld en is nog geen vaste standaard. Google Search gebruikt het niet, ook niet voor de AI-antwoorden in Google.

Wil je llms.txt toch proberen, zet het dan op jouwsite.nl/llms.txt. Een voorbeeld voor een webshop, volgens de opzet van llmstxt.org:

# Voorbeeld Tuinmeubelen

## Belangrijkste pagina's

- [Tuinsets](https://www.voorbeeld.nl/tuinsets): alle sets per materiaal
- [Verzending en retour](https://www.voorbeeld.nl/verzending): levertijden en kosten

Veelgestelde vragen

Kan ik een bot voor een deel van mijn site blokkeren?

Ja. Zet het pad van die map achter Disallow, bijvoorbeeld Disallow: /account/. De bot leest dan alles behalve die map.

Wat als ik GPTBot en OAI-SearchBot allebei toelaat?

Dan kan OpenAI één crawl voor beide doelen gebruiken. Je teksten kunnen dan dus ook voor training gebruikt worden.

Wat doen ChatGPT-User, Claude-User en Perplexity-User?

Ze halen een pagina op als iemand daar in ChatGPT, Claude of Perplexity om vraagt. Of ze je robots.txt volgen, verschilt per bedrijf. Volgens OpenAI gelden je regels mogelijk niet voor ChatGPT-User. Volgens Perplexity volgt Perplexity-User ze meestal niet. Volgens Anthropic volgt Claude-User ze wel.

Geldt een regel voor alle bots ook voor AI-bots?

Ja. Een regel onder User-agent: * geldt voor elke bot zonder eigen regels, ook voor AI-bots en Googlebot. Zet een AI-bot daarom altijd onder zijn eigen naam.

Hoe snel werkt een wijziging?

Volgens OpenAI duurt het ongeveer 24 uur voordat OAI-SearchBot een nieuwe robots.txt volgt.

Zie hoe zichtbaar je bent in Google en AI

Met deze drie stappen lezen de juiste bots je site. Of ChatGPT en Google je daarna ook noemen, hangt af van wat ze daar vinden. Vraag een gratis audit aan en je krijgt een volledige analyse van je vindbaarheid in Google en AI.

Bronnen

Je wilt dat ChatGPT je noemt, maar je wilt niet dat elke AI-partij je teksten gebruikt om te trainen. Dat kan: laat de bots die zoeken binnen en houd de bots die leren buiten. Elk AI-bedrijf stuurt zijn eigen bots, met eigen namen, en dat regel je allemaal in één klein bestand: robots.txt. Over llms.txt lees je veel, maar voor je vindbaarheid is robots.txt het bestand dat nu telt. In deze blog lees je welke bots er zijn en welke drie stappen je vandaag zet.

In het kort: AI-bots en robots.txt

  • OpenAI en Anthropic hebben elk een bot die leert (GPTBot, ClaudeBot) en een bot die zoekt (OAI-SearchBot, Claude-SearchBot).

  • Perplexity heeft alleen een zoekbot: PerplexityBot.

  • Je plek in de zoekantwoorden van ChatGPT hangt af van OAI-SearchBot, niet van GPTBot.

De 4 belangrijkste dingen om te weten over AI-bots

1. Er zijn bots die leren en bots die zoeken

Een trainingsbot leest je teksten om een AI-model slimmer te maken. Een zoekbot leest je pagina's om ze in een antwoord te tonen, vaak met een link naar je site. Bij OpenAI, Anthropic en Perplexity kies je die twee los van elkaar.

Bedrijf

Bot die leert

Bot die zoekt

OpenAI (ChatGPT)

GPTBot

OAI-SearchBot

Anthropic (Claude)

ClaudeBot

Claude-SearchBot

Perplexity

geen

PerplexityBot

Google

Google-Extended (alleen Gemini)

Googlebot (ook AI Overviews en AI Mode)

2. Je kiest per bot in robots.txt

robots.txt is een kort tekstbestand op jouwsite.nl/robots.txt. Per bot zet je erin of hij binnen mag. Allow: / betekent dat de bot alles mag lezen, Disallow: / dat hij niets mag lezen.

3. De grote AI-bedrijven houden zich aan robots.txt

OpenAI, Anthropic en Perplexity zeggen dat hun bots de regels in robots.txt volgen. robots.txt is wel een afspraak en geen slot. Volgens de officiële standaard horen bots de regels te volgen, maar een bot die ze negeert, kan je site nog steeds lezen. Wil je een bot echt buiten de deur houden, dan blokkeert je webbouwer of hostingpartij hem op de server.

4. Bij Google werkt het anders

Googlebot haalt je pagina's op voor de gewone zoekresultaten en voor AI Overviews en AI Mode. Die twee zet je met robots.txt dus niet los van elkaar. Google-Extended regelt alleen of Google je teksten gebruikt om Gemini te trainen. Wil je niet in AI Overviews en AI Mode staan, dan zet je dat in Search Console uit, onder Instellingen bij Search generative AI. Je gewone posities veranderen daar volgens Google niet door, maar je krijgt dan ook geen bezoek meer uit die AI-antwoorden.

Zo regel je het vandaag: 3 stappen

Stap 1. Kies wat je wilt bereiken

Wat wil je?

Wat zet je in robots.txt?

Resultaat

Gevonden worden, zonder training

zoekbots toelaten, trainingsbots blokkeren

je kunt in AI-antwoorden staan en je teksten blijven buiten de training

Alles open

niets voor AI-bots

elke AI-bot mag alles lezen en ervan leren

Alles dicht

alle AI-bots blokkeren

geen training, maar ook geen plek in de zoekantwoorden van ChatGPT

Wil je gevonden worden en je teksten zelf houden, kies dan de eerste rij.

Stap 2. Zet de regels in je robots.txt

Je past robots.txt aan in het beheer van je website, of je webbouwer doet het voor je. Voor de eerste rij plak je dit erin:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow:

Zet er Google-Extended met Disallow: / bij als je ook buiten de training van Gemini wilt blijven.

Stap 3. Controleer of het klopt, ook bij je hosting

Open jouwsite.nl/robots.txt in je browser en kijk of de regels erin staan. Kijk daarna in Google Search Console of Google je belangrijkste pagina's nog kan bereiken.

Gebruik je Cloudflare, kijk dan ook daar. Cloudflare deelt AI-bots in als Search, Agent en Training, en blokkeert op nieuwe domeinen sinds 15 september 2026 standaard de Training- en Agent-bots op pagina's met advertenties. Kies je Block voor Training, dan geldt dat volgens Cloudflare ook voor Googlebot. Wil je alleen training weren, kies dan Disallow AI Training. Kijk ook of een beveiligingsplugin of botbeveiliging je zoekbots niet tegenhoudt.

Wat is llms.txt en heb je het nodig?

llms.txt is een tekstbestand dat AI-modellen naar je belangrijkste pagina's wijst. Het is in 2024 voorgesteld en is nog geen vaste standaard. Google Search gebruikt het niet, ook niet voor de AI-antwoorden in Google.

Wil je llms.txt toch proberen, zet het dan op jouwsite.nl/llms.txt. Een voorbeeld voor een webshop, volgens de opzet van llmstxt.org:

# Voorbeeld Tuinmeubelen

## Belangrijkste pagina's

- [Tuinsets](https://www.voorbeeld.nl/tuinsets): alle sets per materiaal
- [Verzending en retour](https://www.voorbeeld.nl/verzending): levertijden en kosten

Veelgestelde vragen

Kan ik een bot voor een deel van mijn site blokkeren?

Ja. Zet het pad van die map achter Disallow, bijvoorbeeld Disallow: /account/. De bot leest dan alles behalve die map.

Wat als ik GPTBot en OAI-SearchBot allebei toelaat?

Dan kan OpenAI één crawl voor beide doelen gebruiken. Je teksten kunnen dan dus ook voor training gebruikt worden.

Wat doen ChatGPT-User, Claude-User en Perplexity-User?

Ze halen een pagina op als iemand daar in ChatGPT, Claude of Perplexity om vraagt. Of ze je robots.txt volgen, verschilt per bedrijf. Volgens OpenAI gelden je regels mogelijk niet voor ChatGPT-User. Volgens Perplexity volgt Perplexity-User ze meestal niet. Volgens Anthropic volgt Claude-User ze wel.

Geldt een regel voor alle bots ook voor AI-bots?

Ja. Een regel onder User-agent: * geldt voor elke bot zonder eigen regels, ook voor AI-bots en Googlebot. Zet een AI-bot daarom altijd onder zijn eigen naam.

Hoe snel werkt een wijziging?

Volgens OpenAI duurt het ongeveer 24 uur voordat OAI-SearchBot een nieuwe robots.txt volgt.

Zie hoe zichtbaar je bent in Google en AI

Met deze drie stappen lezen de juiste bots je site. Of ChatGPT en Google je daarna ook noemen, hangt af van wat ze daar vinden. Vraag een gratis audit aan en je krijgt een volledige analyse van je vindbaarheid in Google en AI.

Bronnen

Je wilt dat ChatGPT je noemt, maar je wilt niet dat elke AI-partij je teksten gebruikt om te trainen. Dat kan: laat de bots die zoeken binnen en houd de bots die leren buiten. Elk AI-bedrijf stuurt zijn eigen bots, met eigen namen, en dat regel je allemaal in één klein bestand: robots.txt. Over llms.txt lees je veel, maar voor je vindbaarheid is robots.txt het bestand dat nu telt. In deze blog lees je welke bots er zijn en welke drie stappen je vandaag zet.

In het kort: AI-bots en robots.txt

  • OpenAI en Anthropic hebben elk een bot die leert (GPTBot, ClaudeBot) en een bot die zoekt (OAI-SearchBot, Claude-SearchBot).

  • Perplexity heeft alleen een zoekbot: PerplexityBot.

  • Je plek in de zoekantwoorden van ChatGPT hangt af van OAI-SearchBot, niet van GPTBot.

De 4 belangrijkste dingen om te weten over AI-bots

1. Er zijn bots die leren en bots die zoeken

Een trainingsbot leest je teksten om een AI-model slimmer te maken. Een zoekbot leest je pagina's om ze in een antwoord te tonen, vaak met een link naar je site. Bij OpenAI, Anthropic en Perplexity kies je die twee los van elkaar.

Bedrijf

Bot die leert

Bot die zoekt

OpenAI (ChatGPT)

GPTBot

OAI-SearchBot

Anthropic (Claude)

ClaudeBot

Claude-SearchBot

Perplexity

geen

PerplexityBot

Google

Google-Extended (alleen Gemini)

Googlebot (ook AI Overviews en AI Mode)

2. Je kiest per bot in robots.txt

robots.txt is een kort tekstbestand op jouwsite.nl/robots.txt. Per bot zet je erin of hij binnen mag. Allow: / betekent dat de bot alles mag lezen, Disallow: / dat hij niets mag lezen.

3. De grote AI-bedrijven houden zich aan robots.txt

OpenAI, Anthropic en Perplexity zeggen dat hun bots de regels in robots.txt volgen. robots.txt is wel een afspraak en geen slot. Volgens de officiële standaard horen bots de regels te volgen, maar een bot die ze negeert, kan je site nog steeds lezen. Wil je een bot echt buiten de deur houden, dan blokkeert je webbouwer of hostingpartij hem op de server.

4. Bij Google werkt het anders

Googlebot haalt je pagina's op voor de gewone zoekresultaten en voor AI Overviews en AI Mode. Die twee zet je met robots.txt dus niet los van elkaar. Google-Extended regelt alleen of Google je teksten gebruikt om Gemini te trainen. Wil je niet in AI Overviews en AI Mode staan, dan zet je dat in Search Console uit, onder Instellingen bij Search generative AI. Je gewone posities veranderen daar volgens Google niet door, maar je krijgt dan ook geen bezoek meer uit die AI-antwoorden.

Zo regel je het vandaag: 3 stappen

Stap 1. Kies wat je wilt bereiken

Wat wil je?

Wat zet je in robots.txt?

Resultaat

Gevonden worden, zonder training

zoekbots toelaten, trainingsbots blokkeren

je kunt in AI-antwoorden staan en je teksten blijven buiten de training

Alles open

niets voor AI-bots

elke AI-bot mag alles lezen en ervan leren

Alles dicht

alle AI-bots blokkeren

geen training, maar ook geen plek in de zoekantwoorden van ChatGPT

Wil je gevonden worden en je teksten zelf houden, kies dan de eerste rij.

Stap 2. Zet de regels in je robots.txt

Je past robots.txt aan in het beheer van je website, of je webbouwer doet het voor je. Voor de eerste rij plak je dit erin:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow:

Zet er Google-Extended met Disallow: / bij als je ook buiten de training van Gemini wilt blijven.

Stap 3. Controleer of het klopt, ook bij je hosting

Open jouwsite.nl/robots.txt in je browser en kijk of de regels erin staan. Kijk daarna in Google Search Console of Google je belangrijkste pagina's nog kan bereiken.

Gebruik je Cloudflare, kijk dan ook daar. Cloudflare deelt AI-bots in als Search, Agent en Training, en blokkeert op nieuwe domeinen sinds 15 september 2026 standaard de Training- en Agent-bots op pagina's met advertenties. Kies je Block voor Training, dan geldt dat volgens Cloudflare ook voor Googlebot. Wil je alleen training weren, kies dan Disallow AI Training. Kijk ook of een beveiligingsplugin of botbeveiliging je zoekbots niet tegenhoudt.

Wat is llms.txt en heb je het nodig?

llms.txt is een tekstbestand dat AI-modellen naar je belangrijkste pagina's wijst. Het is in 2024 voorgesteld en is nog geen vaste standaard. Google Search gebruikt het niet, ook niet voor de AI-antwoorden in Google.

Wil je llms.txt toch proberen, zet het dan op jouwsite.nl/llms.txt. Een voorbeeld voor een webshop, volgens de opzet van llmstxt.org:

# Voorbeeld Tuinmeubelen

## Belangrijkste pagina's

- [Tuinsets](https://www.voorbeeld.nl/tuinsets): alle sets per materiaal
- [Verzending en retour](https://www.voorbeeld.nl/verzending): levertijden en kosten

Veelgestelde vragen

Kan ik een bot voor een deel van mijn site blokkeren?

Ja. Zet het pad van die map achter Disallow, bijvoorbeeld Disallow: /account/. De bot leest dan alles behalve die map.

Wat als ik GPTBot en OAI-SearchBot allebei toelaat?

Dan kan OpenAI één crawl voor beide doelen gebruiken. Je teksten kunnen dan dus ook voor training gebruikt worden.

Wat doen ChatGPT-User, Claude-User en Perplexity-User?

Ze halen een pagina op als iemand daar in ChatGPT, Claude of Perplexity om vraagt. Of ze je robots.txt volgen, verschilt per bedrijf. Volgens OpenAI gelden je regels mogelijk niet voor ChatGPT-User. Volgens Perplexity volgt Perplexity-User ze meestal niet. Volgens Anthropic volgt Claude-User ze wel.

Geldt een regel voor alle bots ook voor AI-bots?

Ja. Een regel onder User-agent: * geldt voor elke bot zonder eigen regels, ook voor AI-bots en Googlebot. Zet een AI-bot daarom altijd onder zijn eigen naam.

Hoe snel werkt een wijziging?

Volgens OpenAI duurt het ongeveer 24 uur voordat OAI-SearchBot een nieuwe robots.txt volgt.

Zie hoe zichtbaar je bent in Google en AI

Met deze drie stappen lezen de juiste bots je site. Of ChatGPT en Google je daarna ook noemen, hangt af van wat ze daar vinden. Vraag een gratis audit aan en je krijgt een volledige analyse van je vindbaarheid in Google en AI.

Bronnen

Gratis demo

In een korte demoontdek je waar jouw grootste groeikansen liggen.

140.000

AI optimalisaties / maand

-37%

Advertentiekosten

+32%

ROAS

+200%

Organisch verkeer

Gratis demo

In een korte demoontdek je waar jouw grootste groeikansen liggen.

140.000

AI optimalisaties / maand

-37%

Advertentiekosten

+32%

ROAS

Gratis demo

In een korte demoontdek je waar jouw grootste groeikansen liggen.

140.000

AI optimalisaties / maand

-37%

Advertentiekosten

+32%

ROAS

+200%

Organisch verkeer