The Agentic Web Index: Statistieken over AI-botverkeer

Overzicht

Deze statistieken zijn gebaseerd op kerngegevens van meer dan 5.000 websites die gebruikmaken van Agent Analytics en AI Chat Referral Tracking.

Belangrijke ecosystem-statistieken

(Vergeleken met de voorgaande 90 dagen)

  • Botverkeer vs. Menselijk verkeer: 35% (↓ 2%) — De hoeveelheid bezoeken van bots tegenover mensen.
  • Agentificatie: 28% (↑ 11%) — Het percentage botverkeer dat AI-gerelateerd is.
  • Volume AI-chatverwijzingen: 0,1% (↓ 9%) — Het percentage menselijke websitebezoeken dat afkomstig is van AI-chats.
  • Effectiviteit van Robots.txt: 98,5% — Hoe vaak bots de robots.txt-regels volgen.

Verkeer per type agent

Hieronder volgt een overzicht van de verschillende soorten agenten en hun functies:

  • AI Agent: Gebruikt een actuele webbrowser om autonoom complexe taken uit te voeren namens een menselijke gebruiker.
  • AI Assistant: Haalt website-inhoud op naar aanleiding van een prompt van een gebruiker, om deze op te nemen in een door AI gegenereerd antwoord.
  • AI Coding Agent: Haalt documentatie en andere bronnen op om te helpen bij het bouwen van software.
  • AI Data Provider: Crawlt websites om gestructureerde inhoud aan AI-systemen te leveren als een service van derden.
  • AI Data Scraper: Downloadt website-inhoud voor datasets die worden gebruikt voor het trainen van AI-modellen, zoals LLM's.
  • AI Search Crawler: Indexeert website-inhoud om deze mogelijk op te nemen als citaten in door AI aangedreven zoekresultaten.
  • Archiver: Legt historische snapshots van websites vast voor digitale bewaring op de lange termijn.
  • Automated Agent: Automatiseert browserinteracties programmatisch zonder direct menselijk toezicht.
  • Developer Helper: Helpt bij het testen, debuggen en waarborgen van websitefunctionaliteit.
  • Fetcher: Haalt metadata van webpagina's op voor app-functies zoals link-previews of feeds.
  • Intelligence Gatherer: Analyseert webcontent voor merkveiligheid (brand safety), concurrentie-inzichten en advertentietargeting.
  • Scraper: Extraheert grote hoeveelheden webdata, vaak zonder expliciete toestemming van de website.
  • Search Engine Crawler: scant en indexeert systematisch webpagina's voor opname in zoekresultaten.
  • Security Scanner: scant websites op beveiligingskwetsbaarheden, dreigingen en configuratiefouten.
  • SEO Crawler: Analyseert websitestructuur en inhoud om kansen voor SEO-verbetering te identificeren.
  • Undocumented AI Agent: Crawlt websites zonder het doel te vermelden; verzamelt data voor een onbekend AI-doel.
  • Uncategorized: Nog niet toegewezen aan een type.

Topstatistieken

Meest actieve agenttypes

  1. Search Engine Crawlers (22,8%)
  2. SEO Crawlers (19,7%)
  3. AI Search Crawlers (12,4%)
  4. Developer Helpers (11,0%)
  5. AI Data Scrapers (10,9%)
  6. Fetchers (7,0%)
  7. Ongecategoriseerde agenten (6,1%)
  8. AI Assistants (3,8%)

Meest bezoekende specifieke agenten

  • bingbot (Search Engine Crawler): 8,2%
  • Googlebot (Search Engine Crawler): 7,9%
  • AhrefsBot (SEO Crawler): 6,2%
  • Known Agent (Developer Helper): 5,5%
  • ChatGPT-User (AI Assistant): 3,3%
  • ClaudeBot (AI Data Scraper): 3,2%
  • PetalBot (AI Search Crawler): 3,2%

Top Operators (aanbieders)

  1. Google (10,5%)
  2. Microsoft (8,9%)
  3. Ahrefs (7,8%)
  4. Meta (6,8%)
  5. OpenAI (6,4%)
  6. Known Agents (5,9%)

---

Gedetailleerde AI-activiteiten

1. AI Scraping Activiteit

Deze bots scrapen website-inhoud om AI-modellen te trainen. Sommigen behoren tot AI-bedrijven, anderen tot diensten van derden die de data doorverkopen. Inbegrepen zijn AI Data Providers en AI Data Scrapers.

Meest bezochte categorieën:

  • Recht en Overheid (6,0%)
  • Online Communities (5,9%)
  • Huis en Tuin (5,5%)
  • Computers en Elektronica (5,3%)

Top agenten voor AI scraping:

  • ClaudeBot (27,0%)
  • meta-externalagent (19,5%)
  • Amazonbot (19,2%)
  • GPTBot (9,4%)

2. AI Fetching Activiteit

Deze bots halen content in realtime op voor AI-assistenten, coding agents en andere Retrieval-Augmented Generation (RAG) taken. De pagina's beïnvloeden het antwoord direct (bijv. wanneer een assistent een artikel samenvat). Inbegrepen zijn AI Assistants en AI Coding Agents.

Meest bezochte categorieën:

  • Referentie (4,0%)
  • Wetenschap (3,7%)
  • Financiën (3,4%)

Top agenten voor AI fetching:

  • ChatGPT-User (86,4%)
  • DuckAssistBot (3,3%)
  • Perplexity-User (2,7%)

3. AI Search Indexing Activiteit

Deze bots crawlen content zodat deze kan verschijnen in AI-zoekmachines en door AI gegenereerde antwoorden, vaak inclusief citaten of links naar de bronpagina's. Inbegrepen zijn AI Search Crawlers.

Meest bezochte categorieën:

  • Reizen en Transport (6,8%)
  • Referentie (6,5%)
  • Gezondheid (5,6%)

Top agenten voor AI search indexing:

  • PetalBot (25,4%)
  • Amzn-SearchBot (17,3%)
  • Applebot (16,7%)

4. AI Browsing Activiteit

Deze bots gebruiken browsers om autonoom door websites te navigeren en beslissingen te nemen om taken voor mensen uit te voeren. Inbegrepen zijn AI Agents.

Gemiddelde sessiegegevens:

  • Sessieduur: 1 minuut (↓ 5%)
  • Pagina's per sessie: 7,6 (↓ 1%)

Top agenten voor AI browsing:

  • Google-Agent (43,0%)
  • Manus-User (40,1%)
  • ChatGPT Agent (16,9%)

---

Robots.txt & Compliance

De Robots.txt Effectiveness meet hoe effectief een disallow-regel is door te schatten hoeveel een agent zijn verkeer vermindert nadat hij is geblokkeerd.

  • Algemene effectiviteit: 98,5%
  • Effectiviteit (AI Scrapers & Data Providers): 97,5%

Agenten met de beste en slechtste naleving

  • Top regelvolgers (100%): LinkupBot, serpstatbot, proximic, ClarityBot.
  • Slechtste regelvolgers: Baiduspider (82,6%), SirdataBot (84,5%), ShapBot (90,4%).

Meest geblokkeerde agenten (door top 1.000 websites)

  1. GPTBot (24,6%)
  2. CCBot (22,6%)
  3. ClaudeBot (21,7%)
  4. Bytespider (18,9%)
  5. PerplexityBot (17,9%)

---

Spoofing & Beveiliging

Een bezoek wordt als spoofed beschouwd wanneer het claimt een erkende agent-identiteit te hebben, maar faalt bij de ondersteunde authenticatiemethode (zoals geverifieerd IP of Web Bot Auth).

Actieve Dreiging: AI Bot Spoofing Campagne Er is een wijdverspreide campagne waargenomen waarbij AI-bots worden geïmiteerd om websites te scannen op kwetsbaarheden. De aanvaller lijkt zich te richten op inloggegevens en configuratiepaden die worden gebruikt door AI-coding tools.

Meest geïmiteerde identiteiten:

  • Googlebot (0,5%)
  • ChatGPT-User (0,1%)
  • GPTBot (0,1%)

Recent meest getargete paden:

/.config/anthropic/credentials/default.json
/.claude/settings.json
/.claude.json
/.hermes/.env
/.openclaw/.env
/.codex/config.toml
/.continue/config.json
/.aider.conf.yml
/service-account.json
/serviceaccountkey.json
/service_account.json
/firebase-adminsdk.json
/firebase-service-account.json
/.aws/credentials
/.aws/config
/.s3cfg
/.boto
/.npmrc
/.env.example
/.env.local
/.env.production
/.env.backup
/.env.old
/backend/.env
/api/.env
/admin/.env
/dockerfile
/docker-compose.yaml
/.docker/config.json
/terraform.tfstate
/credentials.json
/secrets.json
/secrets.yml
/key.json
/rclone.conf

---

AI Chat Verwijzingen

Dit meet welke AI-platforms (zoals ChatGPT, Perplexity en Gemini) websites citeren en menselijk referral-verkeer sturen.

Meest geciteerde categorieën:

  1. Referentie (4,0%)
  2. Wetenschap (3,7%)
  3. Financiën (3,1%)

Categorieën die de meeste klikken/referrals ontvangen:

  1. Reizen en Transport (0,3%)
  2. Auto's en Voertuigen (0,1%)
  3. Beauty en Fitness (0,1%)

---

Methodologie

Data Scope

De index wordt dagelijks bijgewerkt met gegevens van meer dan 5.000 websites die Agent Analytics en AI Chat Referral Tracking gebruiken. Websitecategorieën volgen de taxonomie van Google AdSense. De resultaten representeren geobserveerde trends in het netwerk en zijn geen exacte wereldwijde volkstelling van webverkeer.

Kwalificatie & Aggregatie

Alleen websites die voldoen aan minimumvereisten voor activiteit en datakwaliteit worden meegenomen. Interne testdata of afwijkende gegevens worden uitgesloten. Om te voorkomen dat enkele zeer grote websites de resultaten domineren, wordt eerst het percentage per website berekend en daarna het gemiddelde over alle sites genomen.

Meting van Robots.txt Effectiviteit

De effectiviteit is een schatting van de afname in verzoekfrequentie bij een volledige disallow-regel. Er wordt een baseline vastgesteld op websites waar de agent is toegestaan, die vervolgens wordt vergeleken met de werkelijke activiteit op sites waar de agent is geblokkeerd.

Identificatie van Spoofed Bots

Spoofing-statistieken meten verkeer dat claimt een bekende agent te zijn, maar faalt voor authenticatiemethoden zoals IP-verificatie of HTTP-berichthandtekeningen.

AI Chat Citaties & Referrals

Referral-statistieken tellen direct geobserveerde menselijke bezoeken met een erkend AI-platform in de verwijzende URL. Citatie-statistieken zijn schattingen gebaseerd op verzoeken van agenten die bekend staan om het ophalen van content voor AI-platforms.

---

Veelgestelde Vragen (FAQ)

Kunnen journalisten en mediaorganisaties deze data gebruiken? Ja, mits er een bronvermelding is en een link naar deze pagina wordt toegevoegd. Voor interviews of specifieke analyses kunnen zij contact opnemen.

Werken jullie samen met onderzoekers? Ja, onderzoek naar hoe agenten en bots het web veranderen is welkom. Neem contact op voor discussies over onderzoeksvragen of gezamenlijke analyses.

Kan ik een specifieke analyse aanvragen? Ja. Indien de onderliggende data het toelaat, kan er een gerichte analyse worden gemaakt per agent, operator, activiteitstype of tijdsperiode.

Hoe kan ik deze trends op mijn eigen website zien?

  • Agent Analytics: Toont welke bots uw site bezoeken en wat ze doen.
  • AI Chat Referral Tracking: Meet menselijk verkeer vanaf AI-platforms.
  • Automatic Robots.txt: Helpt bij het beheren van bottoegang.