Hvad værktøjet tjekker

• robots.txt, crawler for crawler. For hver af 17 crawlere finder det den gruppe, der gælder (crawlerens eget navn eller *), og den mest specifikke Allow- eller Disallow-regel for netop din URL. Det følger robots.txt-standarden (RFC 9309) og Googles dokumenterede regler.
• Om siden svarer, eller blokerer automatiske forespørgsler helt.
• noindex og nosnippet i HTML’en eller i X-Robots-Tag-headeren. Begge holder en side ude af AI-svar, selv når alle crawlere er tilladt.
• Tekst, der er synlig uden JavaScript. De fleste AI-crawlere læser den rå HTML og kører ikke JavaScript, så indhold, der først dukker op, når scripts har kørt, er usynligt for dem.
• Strukturerede data (JSON-LD), og om sitet ligger bag Cloudflare, hvis bot-indstillinger kan tilsidesætte robots.txt.

De tre slags AI-crawlere

Hvert AI-firma kører flere bots med forskellige opgaver. Blokerer du én, blokerer du ikke de andre, og derfor er en enkelt knap til “tillad AI” eller “bloker AI” sjældent det, du faktisk vil have.

Opgave	Eksempler	Hvad det betyder at blokere den
Søgning og svar	OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot	Du kan forsvinde fra AI-søgeresultater og kildehenvisninger
Live-opslag for en bruger	ChatGPT-User, Claude-User, Perplexity-User	AI’en kan ikke åbne din side, når nogen spørger om den
Træning af modeller	GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot	Dit indhold holdes ude af fremtidige træningsdata. AI-søgning påvirkes ikke

Vil du findes i ChatGPT, Claude og Perplexity, men holde dit indhold ude af træning, så tillad de to første rækker og bloker den tredje. Værktøjet grupperer resultaterne på samme måde.

Hvorfor værktøjet ikke udgiver sig for at være GPTBot

Nogle værktøjer “tester” AI-adgang ved at hente din side med GPTBots user agent og melde, om den slipper igennem. Det måler det forkerte. En forespørgsel fra en tilfældig server, der kalder sig GPTBot, er en falsk GPTBot, og en velkonfigureret firewall bør blokere den.

Da jeg tjekkede en uges logs fra min egen server mod de IP-lister, AI-firmaerne offentliggør, var 80 % af de forespørgsler, der kaldte sig GPTBot, falske, og 100 % af dem, der kaldte sig Perplexity-User. Det var scannere, der ledte efter adgangskoder og API-nøgler. Slipper en forfalsket forespørgsel igennem din firewall, er det et sikkerhedsproblem, ikke et tegn på, at AI-søgning kan se dig.

Derfor viser værktøjet, hvad robots.txt og siden fortæller de rigtige crawlere, og markerer firewall-lag som Cloudflare, som du skal tjekke for sig. Vil du se, hvilke ægte AI-crawlere der besøger dig, skal du bruge dine serverlogs holdt op mod de officielle IP-lister.

Hvad du gør, hvis en vigtig crawler er blokeret

1. Find reglen. Værktøjet viser den præcise linje, der blokerer hver crawler, og om den kommer fra crawlerens egen gruppe eller fra User-agent: *.
2. Ret robots.txt. Giv søgecrawlerne deres egen gruppe med Allow: /, eller fjern Disallow-linjen. I WordPress har både Rank Math og Yoast en robots.txt-editor.
3. Tjek dit CDN eller din firewall. I Cloudflare åbner du Security › Bots og tjekker “Block AI bots” og AI Labyrinth. Firewall-regler, der matcher på user agent, bør bruge verificerede bot-kategorier i stedet.
4. Kør tjekket igen, når du har ændret noget. Resultaterne gemmes i 15 minutter.
5. Bekræft det i dine logs. Inden for få dage bør du se verificerede forespørgsler fra OAI-SearchBot, Claude-SearchBot og PerplexityBot på dine vigtige sider.

Vil du have hele billedet for dit site, inklusiv hvilke AI-crawlere der faktisk besøger dig, og hvilke sider de læser? Det er en del af min GEO-ydelse.