robots.txt for AI-crawlere: den praktiske guiden
Hver AI-assistent som snakker om bedriften din, sendte først en robot til nettsiden din. I robots.txt bestemmer du hva de robotene får lese. De fleste nettsider har aldri tatt det valget med vilje.
Hvorfor denne filen plutselig betyr noe
robots.txt har eksistert siden 1994, men inntil nylig var det bare søkemotorer som leste den. Nå leser AI-robotene den også. OpenAI, Anthropic, Google, Perplexity og Microsoft sjekker den før de leser sidene dine, og det de finner der, avgjør om AI-assistentene i det hele tatt får lære om bedriften din.
Én ting før detaljene: robotene har ulike jobber. Blokkerer du én, blir du ikke «usynlig for AI», og tillater du én, blir du ikke synlig. Det finnes tre roller.
AI-robotene og hva hver av dem gjør
| Robot | Operatør | Rolle | Hvis du blokkerer den |
|---|---|---|---|
| GPTBot | OpenAI | Trening: bygger modellens kunnskap | Fremtidige modeller vet mindre om deg |
| OAI-SearchBot | OpenAI | Søk: står bak siteringene i ChatGPT Search | ChatGPT slutter å sitere sidene dine live |
| ChatGPT-User | OpenAI | Brukerhenting: åpner siden når en bruker ber om det | Liten effekt, ignorerer stort sett robots.txt |
| ClaudeBot | Anthropic | Trening | Claude-modellene vet mindre om deg |
| Claude-SearchBot | Anthropic | Søk: siteringer i Claudes websøk | Claude slutter å sitere sidene dine |
| Claude-User | Anthropic | Brukerhenting | Liten effekt, ignorerer stort sett robots.txt |
| PerplexityBot | Perplexity | Søkeindeks (trener ikke modeller) | Du faller ut av Perplexity-svar |
| Google-Extended | Gemini-trening og kildegrunnlag for Gemini-svar | Utelatt fra Gemini-svar med kildegrunnlag | |
| Bingbot | Microsoft | Bing-indeksen, som ChatGPTs søk også bygger på | Svakere tilstedeværelse i Bing og ChatGPT Search |
Kilder: den offisielle bot-dokumentasjonen til OpenAI (developers.openai.com), Anthropic (support.claude.com), Perplexity (docs.perplexity.ai), Google (developers.google.com) og Bing, per juli 2026. Googles AI Overviews bruker den vanlige Googlebot, så de styres av de vanlige søkereglene dine. Brukerhenting-robotene handler på en persons direkte forespørsel og opererer i stor grad utenfor robots.txt.
Oppsettet de fleste bedrifter vil ha
Vil du at AI-assistenter skal kjenne og anbefale bedriften din, må du sørge for at ingenting blokkerer AI-robotene. Her er en minimal robots.txt som slipper alle inn og peker på nettstedskartet ditt:
User-agent: *
Allow: /
Sitemap: https://www.example.no/sitemap.xml
Vil du ikke at innholdet ditt skal brukes til modelltrening, men fortsatt bli sitert i AI-søk, blokkerer du treningsrobotene og lar søkerobotene være i fred:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# …alle andre (inkl. søkeroboter) forblir tillatt
User-agent: *
Allow: /
Avveiningen er reell, for det er gjennom trening modellene lærer hvem du er. For de fleste små bedrifter som vil vinne kunder, koster det mer å blokkere treningsrobotene enn det beskytter.
De fire feilene vi stadig finner
Vi har målt 419 norske håndverksbedrifter med audit-metodikken vår. robots.txt-feilene faller i fire mønstre:
1. Ingen robots.txt i det hele tatt (7 % av bedriftene). Ikke fatalt, for ingen fil betyr «alt tillatt». Men du mister henvisningen til nettstedskartet, og ingen har tatt noe valg.
2. En global Disallow: /. Vanligvis en rest fra et testmiljø. Den ber alle roboter, AI inkludert, om ikke å lese noe. Vi ser det sjelden, men når vi gjør det, er bedriften usynlig i alle AI-systemer på én gang.
3. Kopierte «blokker AI-roboter»-lister. Maler som gikk rundt i 2023–24, blokkerer GPTBot «for å beskytte innholdet». De ble skrevet før AI-søk fantes. I 2026 betyr det at konkurrentene dine blir sitert og du ikke. 4 % av benchmarken blokkerer fortsatt GPTBot, stort sett gjennom slike maler.
4. Brannmuren blokkerer det robots.txt tillater (1 av 5 bedrifter). Denne er lett å overse. robots.txt sier «velkommen», men brannmuren (WAF) eller webhotellet svarer 403 på forespørsler med AI-robotenes user-agent. I tredje runde (28. september 2026) blokkerte 18 % av 419 nettsider minst én av ni AI-roboter på denne måten. I juli, da vi bare testet GPTBot, var det 9 % av 447. Ingen av dem visste om det. I én audit fant vi en brannmur som stoppet OpenAIs treningsrobot, men slapp søkerobotene gjennom. Det hadde ikke eieren av siden bedt om.
Test det på to minutter
Ikke stol på konfigurasjonen. Test hva serveren gjør: hent forsiden din som en AI-robot fra en hvilken som helst terminal, og sammenlign med en vanlig forespørsel.
curl -sI -A "OAI-SearchBot" https://www.example.no/ | head -1
curl -sI -A "ClaudeBot" https://www.example.no/ | head -1
curl -sI -A "PerplexityBot" https://www.example.no/ | head -1
Alle fire skal gi 200, akkurat som en vanlig nettleser. Får du 403 på noen av dem, er det brannmuren som bestemmer hva AI får se, ikke du. Auditen vår kjører denne testen som én av sine 35 sjekker.
Sjekk resten av oppsettet også
robots.txt er 1 av de 35 tingene vi tester. Den gratis mini-auditen sjekker domenet ditt på under ett minutt, også om AI-robotene i det hele tatt når frem til sidene dine.