Dit artikel analyseert de effectiviteit van vijf toonaangevende bot-detectiesystemen (Proof of Human, Google reCAPTCHA v3, hCaptcha, Cloudflare Turnstile en Cloudflare Bot Management) tegenover diverse vormen van automatisering, waaronder stealth-browsers en moderne AI-agents zoals Grok en Perplexity Comet.
De belangrijkste bevindingen zijn:
- Proof of Human was het meest effectief met een detectiepercentage van 99%.
- Cloudflare Bot Management presteerde het slechtst met slechts 9,1% detectie.
- Traditionele systemen die vertrouwen op visuele uitdagingen (zoals hCaptcha) worden omzeild door 'vision-capable' AI-agents die afbeeldingen kunnen interpreteren.
- Stealth-browsers die browser-fingerprints aanpassen en residentiële IP's gebruiken, blijken zeer effectief in het misleiden van systemen zoals reCAPTCHA v3.
De auteurs concluderen dat detectie op basis van browser-indicatoren steeds minder betrouwbaar wordt. De focus moet verschuiven naar het analyseren van het daadwerkelijke gedrag van een gebruiker tijdens een sessie om AI-agents van mensen te kunnen onderscheiden.
Benchmarking van Bot-detectiesystemen tegen Moderne AI-Agents in 2026
Een jaar geleden evalueerden we vijf toonaangevende bot-detectiesystemen (Proof of Human, Google reCAPTCHA v3, hCaptcha, Fingerprint Pro en Cloudflare Turnstile) tegenover geautomatiseerde browsers die waren geprogrammeerd om een set vooraf gedefinieerde taken uit te voeren. De detectiepercentages varieerden aanzienlijk, van 33% tot 87%. Systemen die gedragssignalen combineerden met signalen op apparaatniveau presteerden over het algemeen beter dan systemen die enkel vertrouwden op apparaatinformatie.
Sinds die tijd is browserautomatisering aanzienlijk geëvolueerd. Moderne AI-agents kunnen webpagina's interpreteren, acties plannen en via steeds geavanceerdere browseromgevingen met interfaces communiceren. Daarom hebben we onze benchmark herzien met een uitgebreide set tegenstanders, waaronder conventionele browserautomatisering, stealth-browsers en door AI aangedreven browsing-agents. We hebben een vergelijkbare set detectiesystemen getest: Proof of Human, Google reCAPTCHA v3, hCaptcha, Cloudflare Turnstile en Cloudflare Bot Management. De resultaten laten een vergelijkbare grote variatie in detectieprestaties zien.
In dit artikel analyseren we hoe elk systeem presteerde, waar het faalde en wat deze resultaten suggereren over de uitdagingen bij het onderscheiden van mensen van steeds capabelere AI-agents.
Methodologie
Voor de test werd een enquête van vijf vragen gebruikt, bestaande uit een combinatie van meerkeuzevragen en open antwoorden. Elke tegenstander (AI-agent) probeerde de enquête 20 keer in te vullen, wat resulteerde in maximaal 100 sessies per detectiesysteem. Sommige detectiesystemen crashten of faalden vóór voltooiing, waardoor er per systeem tussen de 89 en 100 evalueerbare sessies overbleven.
De onderstaande tabel vat de geteste detectiesystemen samen en de signalen die zij gebruiken om geautomatiseerde activiteit te identificeren.
| Detectiesysteem | Beschrijving |
|---|
| Proof of Human | Gebruikt een machine-learningmodel om sessies te classificeren als menselijk of geautomatiseerd op basis van zowel gedrags- als apparaatsignalen, waaronder typen, muisbewegingen, klikken en scrollen. |
| Google reCAPTCHA v3 | Kent aan elke sessie een score toe van 0 tot 1, wat de waarschijnlijkheid aangeeft dat de gebruiker menselijk is. Het werkt zonder zichtbare uitdaging en houdt rekening met browser-integriteit en reputatiesignalen aan de zijde van Google; de website bepaalt de drempelwaarde voor acceptatie. |
| hCaptcha | Presenteert een "Ik ben menselijk"-selectievakje en evalueert het risicoprofiel van de browser. Afhankelijk van het resultaat wordt de sessie direct geverifieerd of moet er een uitdaging op basis van afbeeldingen worden voltooid. |
| Cloudflare Turnstile | Voert op de achtergrond controles uit op de browser-integriteit en geeft een verificatietoken uit wanneer een sessie slaagt. Het werkt over het algemeen zonder puzzel, maar kan gebruikersinteractie vragen wanneer signalen ambigu zijn. |
| Cloudflare Bot Management | Evalueert verzoeken met behulp van heuristieken en machine-learningmodellen die zijn getraind op verkeer via het netwerk van Cloudflare. Hoewel het volledige systeem scores toekent van 1 (geautomatiseerd) tot 99 (menselijk), geeft de Pro-tier implementatie bredere classificaties zoals likelyhuman, likelyautomated, automated of verified_bot. |
Onze set tegenstanders omvat steeds geavanceerdere vormen van automatisering: conventionele gescripte browsers, stealth-browsers die ontworpen zijn om automatiseringssignalen te maskeren, en AI-agents die autonoom webpagina's kunnen navigeren en taken kunnen voltooien.
| Tegenstander | Beschrijving |
|---|
| Chromium | Een standaard Chromium-browser geautomatiseerd via Playwright en het Chrome DevTools Protocol, zonder stealth-aanpassingen. Het behoudt algemene indicatoren van automatisering, zoals navigator.webdriver en CDP-gerelateerde artefacten, en dient als de baseline "overduidelijke bot". |
| CloakBrowser | Een stealth-georiënteerde Chromium-fork die browser-fingerprints aanpast op broncodeniveau, waaronder GPU, canvas, WebGL, audio, lettertypen, user-agent en TLS-signalen. We gebruikten dit via een residentiële proxy met ingeschakelde optionele humaniseringsfuncties voor muis- en toetsenbordinvoer. |
| Browser Use | Een open-source AI-agent framework dat een LLM (Claude Opus in onze opstelling) en visuele pagina-informatie gebruikt om acties te plannen en een ongewijzigde browser te bedienen vanuit een cloud-infrastructuur. |
| Perplexity Comet | Maakt gebruik van de door AI aangedreven browser van Perplexity, die een LLM en visuele informatie gebruikt om webpagina's te navigeren en taken te voltooien. |
| Grok | De browser-use agent van xAI, die een LLM en visuele informatie gebruikt om webtaken te navigeren en te voltooien. |
Resultaten
We stelden vast dat de detectieprestaties per systeem aanzienlijk verschilden. Geaggregeerd over alle tegenstanders identificeerde Proof of Human 99% van de geautomatiseerde sessies, gevolgd door reCAPTCHA v3 (69,4%), hCaptcha (44,3%), Cloudflare Turnstile (42,1%) en Cloudflare Bot Management (9,1%).
Figuur 1: Resultaten van de bot-benchmarking. Elke balk toont het percentage geautomatiseerde sessies dat is geïdentificeerd door het betreffende detectiesysteem, geaggregeerd over alle vijf de tegenstanders.
De prestaties verschilden aanzienlijk per tegenstander. Het duidelijkste onderscheid lag tussen gescripte browsers en AI-agents. hCaptcha en Cloudflare Turnstile vingen bijna elke gescripte Chromium- en CloakBrowser-sessie op, maar zeer weinig van de AI-agent-sessies. reCAPTCHA v3 vertoonde het tegenovergestelde patroon: het identificeerde de meeste agent-sessies, maar geen enkele van de CloakBrowser-sessies. Cloudflare Bot Management vingen weinig sessies van welke tegenstander dan ook, terwijl Proof of Human in totaal minstens 95% van de sessies detecteerde.
Figuur 2: Percentage sessies geïdentificeerd als geautomatiseerd voor elke combinatie van detectiesysteem en tegenstander. Groene cellen geven tegenstanders aan die zijn ontdekt; rode cellen geven tegenstanders aan die het detectiesysteem hebben misleid.
Aangezien de meeste detectiesystemen 'black-box' zijn, kunnen we niet direct bepalen welke signalen tot elk resultaat hebben geleid. Echter, het waargenomen gedrag van de systemen, samen met openbaar beschikbare documentatie, suggereert enkele waarschijnlijke oorzaken voor deze resultaten:
- reCAPTCHA v3 detecteerde de meeste sessies van standaard Chromium en de cloud-hosted agents, maar detecteerde CloakBrowser niet. CloakBrowser was de enige tegenstander die een op bronniveau gewijzigde browser-fingerprint combineerde met een residentieel IP-adres. Onze resultaten kunnen niet bepalen of de browser-fingerprint, het residentiële IP, of een combinatie van beide primair verantwoordelijk was voor dit succes.
- hCaptcha gaf uitdagingen aan zowel Chromium als CloakBrowser, maar geen van beide kon de op afbeeldingen gebaseerde taak betrouwbaar voltooien. In contrast waren de drie vision-capable agents — Browser Use, Grok en Perplexity Comet — over het algemeen in staat om het raster met afbeeldingen te interpreteren en op te lossen, waardoor de meeste van hun sessies werden geaccepteerd.
- Cloudflare Turnstile detecteerde beide gescripte browser-tegenstanders: Chromium en CloakBrowser ontvingen geen verificatietokens, zelfs niet na de volledige wachttijd van 30 seconden. Het detecteerde echter geen van de drie AI-agents en gaf tijdens deze sessies zelfs geen uitdagingen af.
- Cloudflare Bot Management detecteerde in totaal relatief weinig sessies. Dit patroon is consistent met het feit dat de stealth-browser en cloud-agents schone signalen op browserniveau presenteerden, hoewel het hogere detectiepercentage voor Grok mogelijk wijst op infrastructuursignalen die Cloudflare gebruikt, zoals IP- of TLS-reputatie.
Beperkingen
Bij het interpreteren van deze resultaten moeten enkele beperkingen in overweging worden genomen:
- Sommige systemen crashten of faalden vóór voltooiing, wat resulteerde in licht verschillende steekproefgroottes per conditie.
- We hebben de productniveaus geëvalueerd die voor ons beschikbaar waren in plaats van enterprise-versies, die mogelijk extra signalen of geavanceerdere detectiemogelijkheden bevatten.
- We hebben de detectiepercentages voor geautomatiseerde sessies gemeten, maar we hebben de fout-positieve percentages onder menselijke respondenten niet geëvalueerd.
- Sommige systemen, waaronder reCAPTCHA, kunnen beter gekalibreerd raken naarmate ze meer verkeer observeren en een reputatie opbouwen voor een specifieke website. Detectiepercentages kunnen daarom verschillen bij een implementatie over een langere periode.
Conclusie
Onze resultaten suggereren dat bot-detectie een nieuwe fase ingaat. Traditionele automatiseringssignalen blijven effectief tegen gescripte browsers, maar zijn minder betrouwbaar tegen AI-agents die browseromgevingen intelligent benutten. Interactieve uitdagingen kunnen beperkte bescherming bieden wanneer vision-capable agents deze kunnen interpreteren en voltooien.
Naarmate indicatoren op browserniveau makkelijker te omzeilen zijn, wordt de manier waarop een gebruiker zich gedraagt gedurende een sessie steeds belangrijker om menselijke activiteit van automatisering te onderscheiden.
Toekomstige benchmarks zouden grotere volumes verkeer moeten testen, menselijke deelnemers moeten includeren om fout-positieve percentages te meten, en complexere taken en opkomende agents moeten evalueren. Bij Proof of Human zullen we deze veranderingen blijven volgen en methoden ontwikkelen in dit evoluerende dreigingslandschap. Om Proof of Human in uw eigen applicatie te testen, kunt u terecht op poh.org.
Over de auteurs
Milena Rmus, Mayank Agrawal en Mathew Hardy werken bij Proof of Human, PBC, waar ze werken aan Proof of Human, een onzichtbaar authenticatiesysteem voor het web. Voorheen voltooiden zij hun PhD in cognitieve wetenschappen aan de University of California, Berkeley (Milena) en Princeton University (Mayank en Matt).
Benchmarking van Bot-detectiesystemen tegen Moderne AI-Agents in 2026
Een jaar geleden evalueerden we vijf toonaangevende bot-detectiesystemen (Proof of Human, Google reCAPTCHA v3, hCaptcha, Fingerprint Pro en Cloudflare Turnstile) tegenover geautomatiseerde browsers die waren geprogrammeerd om een set vooraf gedefinieerde taken uit te voeren. De detectiepercentages varieerden aanzienlijk, van 33% tot 87%. Systemen die gedragssignalen combineerden met signalen op apparaatniveau presteerden over het algemeen beter dan systemen die enkel vertrouwden op apparaatinformatie.
Sinds die tijd is browserautomatisering aanzienlijk geëvolueerd. Moderne AI-agents kunnen webpagina's interpreteren, acties plannen en via steeds geavanceerdere browseromgevingen met interfaces communiceren. Daarom hebben we onze benchmark herzien met een uitgebreide set tegenstanders, waaronder conventionele browserautomatisering, stealth-browsers en door AI aangedreven browsing-agents. We hebben een vergelijkbare set detectiesystemen getest: Proof of Human, Google reCAPTCHA v3, hCaptcha, Cloudflare Turnstile en Cloudflare Bot Management. De resultaten laten een vergelijkbare grote variatie in detectieprestaties zien.
In dit artikel analyseren we hoe elk systeem presteerde, waar het faalde en wat deze resultaten suggereren over de uitdagingen bij het onderscheiden van mensen van steeds capabelere AI-agents.
Methodologie
Voor de test werd een enquête van vijf vragen gebruikt, bestaande uit een combinatie van meerkeuzevragen en open antwoorden. Elke tegenstander (AI-agent) probeerde de enquête 20 keer in te vullen, wat resulteerde in maximaal 100 sessies per detectiesysteem. Sommige detectiesystemen crashten of faalden vóór voltooiing, waardoor er per systeem tussen de 89 en 100 evalueerbare sessies overbleven.
De onderstaande tabel vat de geteste detectiesystemen samen en de signalen die zij gebruiken om geautomatiseerde activiteit te identificeren.
| Detectiesysteem | Beschrijving |
|---|
| Proof of Human | Gebruikt een machine-learningmodel om sessies te classificeren als menselijk of geautomatiseerd op basis van zowel gedrags- als apparaatsignalen, waaronder typen, muisbewegingen, klikken en scrollen. |
| Google reCAPTCHA v3 | Kent aan elke sessie een score toe van 0 tot 1, wat de waarschijnlijkheid aangeeft dat de gebruiker menselijk is. Het werkt zonder zichtbare uitdaging en houdt rekening met browser-integriteit en reputatiesignalen aan de zijde van Google; de website bepaalt de drempelwaarde voor acceptatie. |
| hCaptcha | Presenteert een "Ik ben menselijk"-selectievakje en evalueert het risicoprofiel van de browser. Afhankelijk van het resultaat wordt de sessie direct geverifieerd of moet er een uitdaging op basis van afbeeldingen worden voltooid. |
| Cloudflare Turnstile | Voert op de achtergrond controles uit op de browser-integriteit en geeft een verificatietoken uit wanneer een sessie slaagt. Het werkt over het algemeen zonder puzzel, maar kan gebruikersinteractie vragen wanneer signalen ambigu zijn. |
| Cloudflare Bot Management | Evalueert verzoeken met behulp van heuristieken en machine-learningmodellen die zijn getraind op verkeer via het netwerk van Cloudflare. Hoewel het volledige systeem scores toekent van 1 (geautomatiseerd) tot 99 (menselijk), geeft de Pro-tier implementatie bredere classificaties zoals likelyhuman, likelyautomated, automated of verified_bot. |
Onze set tegenstanders omvat steeds geavanceerdere vormen van automatisering: conventionele gescripte browsers, stealth-browsers die ontworpen zijn om automatiseringssignalen te maskeren, en AI-agents die autonoom webpagina's kunnen navigeren en taken kunnen voltooien.
| Tegenstander | Beschrijving |
|---|
| Chromium | Een standaard Chromium-browser geautomatiseerd via Playwright en het Chrome DevTools Protocol, zonder stealth-aanpassingen. Het behoudt algemene indicatoren van automatisering, zoals navigator.webdriver en CDP-gerelateerde artefacten, en dient als de baseline "overduidelijke bot". |
| CloakBrowser | Een stealth-georiënteerde Chromium-fork die browser-fingerprints aanpast op broncodeniveau, waaronder GPU, canvas, WebGL, audio, lettertypen, user-agent en TLS-signalen. We gebruikten dit via een residentiële proxy met ingeschakelde optionele humaniseringsfuncties voor muis- en toetsenbordinvoer. |
| Browser Use | Een open-source AI-agent framework dat een LLM (Claude Opus in onze opstelling) en visuele pagina-informatie gebruikt om acties te plannen en een ongewijzigde browser te bedienen vanuit een cloud-infrastructuur. |
| Perplexity Comet | Maakt gebruik van de door AI aangedreven browser van Perplexity, die een LLM en visuele informatie gebruikt om webpagina's te navigeren en taken te voltooien. |
| Grok | De browser-use agent van xAI, die een LLM en visuele informatie gebruikt om webtaken te navigeren en te voltooien. |
Resultaten
We stelden vast dat de detectieprestaties per systeem aanzienlijk verschilden. Geaggregeerd over alle tegenstanders identificeerde Proof of Human 99% van de geautomatiseerde sessies, gevolgd door reCAPTCHA v3 (69,4%), hCaptcha (44,3%), Cloudflare Turnstile (42,1%) en Cloudflare Bot Management (9,1%).
Figuur 1: Resultaten van de bot-benchmarking. Elke balk toont het percentage geautomatiseerde sessies dat is geïdentificeerd door het betreffende detectiesysteem, geaggregeerd over alle vijf de tegenstanders.
De prestaties verschilden aanzienlijk per tegenstander. Het duidelijkste onderscheid lag tussen gescripte browsers en AI-agents. hCaptcha en Cloudflare Turnstile vingen bijna elke gescripte Chromium- en CloakBrowser-sessie op, maar zeer weinig van de AI-agent-sessies. reCAPTCHA v3 vertoonde het tegenovergestelde patroon: het identificeerde de meeste agent-sessies, maar geen enkele van de CloakBrowser-sessies. Cloudflare Bot Management vingen weinig sessies van welke tegenstander dan ook, terwijl Proof of Human in totaal minstens 95% van de sessies detecteerde.
Figuur 2: Percentage sessies geïdentificeerd als geautomatiseerd voor elke combinatie van detectiesysteem en tegenstander. Groene cellen geven tegenstanders aan die zijn ontdekt; rode cellen geven tegenstanders aan die het detectiesysteem hebben misleid.
Aangezien de meeste detectiesystemen 'black-box' zijn, kunnen we niet direct bepalen welke signalen tot elk resultaat hebben geleid. Echter, het waargenomen gedrag van de systemen, samen met openbaar beschikbare documentatie, suggereert enkele waarschijnlijke oorzaken voor deze resultaten:
- reCAPTCHA v3 detecteerde de meeste sessies van standaard Chromium en de cloud-hosted agents, maar detecteerde CloakBrowser niet. CloakBrowser was de enige tegenstander die een op bronniveau gewijzigde browser-fingerprint combineerde met een residentieel IP-adres. Onze resultaten kunnen niet bepalen of de browser-fingerprint, het residentiële IP, of een combinatie van beide primair verantwoordelijk was voor dit succes.
- hCaptcha gaf uitdagingen aan zowel Chromium als CloakBrowser, maar geen van beide kon de op afbeeldingen gebaseerde taak betrouwbaar voltooien. In contrast waren de drie vision-capable agents — Browser Use, Grok en Perplexity Comet — over het algemeen in staat om het raster met afbeeldingen te interpreteren en op te lossen, waardoor de meeste van hun sessies werden geaccepteerd.
- Cloudflare Turnstile detecteerde beide gescripte browser-tegenstanders: Chromium en CloakBrowser ontvingen geen verificatietokens, zelfs niet na de volledige wachttijd van 30 seconden. Het detecteerde echter geen van de drie AI-agents en gaf tijdens deze sessies zelfs geen uitdagingen af.
- Cloudflare Bot Management detecteerde in totaal relatief weinig sessies. Dit patroon is consistent met het feit dat de stealth-browser en cloud-agents schone signalen op browserniveau presenteerden, hoewel het hogere detectiepercentage voor Grok mogelijk wijst op infrastructuursignalen die Cloudflare gebruikt, zoals IP- of TLS-reputatie.
Beperkingen
Bij het interpreteren van deze resultaten moeten enkele beperkingen in overweging worden genomen:
- Sommige systemen crashten of faalden vóór voltooiing, wat resulteerde in licht verschillende steekproefgroottes per conditie.
- We hebben de productniveaus geëvalueerd die voor ons beschikbaar waren in plaats van enterprise-versies, die mogelijk extra signalen of geavanceerdere detectiemogelijkheden bevatten.
- We hebben de detectiepercentages voor geautomatiseerde sessies gemeten, maar we hebben de fout-positieve percentages onder menselijke respondenten niet geëvalueerd.
- Sommige systemen, waaronder reCAPTCHA, kunnen beter gekalibreerd raken naarmate ze meer verkeer observeren en een reputatie opbouwen voor een specifieke website. Detectiepercentages kunnen daarom verschillen bij een implementatie over een langere periode.
Conclusie
Onze resultaten suggereren dat bot-detectie een nieuwe fase ingaat. Traditionele automatiseringssignalen blijven effectief tegen gescripte browsers, maar zijn minder betrouwbaar tegen AI-agents die browseromgevingen intelligent benutten. Interactieve uitdagingen kunnen beperkte bescherming bieden wanneer vision-capable agents deze kunnen interpreteren en voltooien.
Naarmate indicatoren op browserniveau makkelijker te omzeilen zijn, wordt de manier waarop een gebruiker zich gedraagt gedurende een sessie steeds belangrijker om menselijke activiteit van automatisering te onderscheiden.
Toekomstige benchmarks zouden grotere volumes verkeer moeten testen, menselijke deelnemers moeten includeren om fout-positieve percentages te meten, en complexere taken en opkomende agents moeten evalueren. Bij Proof of Human zullen we deze veranderingen blijven volgen en methoden ontwikkelen in dit evoluerende dreigingslandschap. Om Proof of Human in uw eigen applicatie te testen, kunt u terecht op poh.org.
Over de auteurs
Milena Rmus, Mayank Agrawal en Mathew Hardy werken bij Proof of Human, PBC, waar ze werken aan Proof of Human, een onzichtbaar authenticatiesysteem voor het web. Voorheen voltooiden zij hun PhD in cognitieve wetenschappen aan de University of California, Berkeley (Milena) en Princeton University (Mayank en Matt).
Groetjes,