Dit artikel legt uit hoe websitebeheerders via content negotiation (met behulp van de Accept-header) Markdown-content kunnen aanbieden aan AI-agents in plaats van standaard HTML.
De belangrijkste voordelen van deze aanpak zijn:
- Efficiënt tokenverbruik: Door layout-markup weg te laten, verbruiken AI-agents minder tokens.
- Betere Retrieval: Een hogere signaal-ruisverhouding voor RAG-pipelines door het weglaten van advertenties en zijbalken.
- Lagere Latency: Snellere verwerking doordat er minder data geparsed hoeft te worden.
Het artikel beschrijft de technische criteria voor een AI-klare URL, zoals het gebruik van de Vary: Accept header, en geeft concrete curl-commando's om de serverrespons te testen. Daarnaast wordt er verwezen naar diverse configuratie-recepten voor populaire servers en frameworks (zoals Nginx, WordPress en Next.js) en relevante RFC-standaarden.
Serveer Markdown aan AI-agents via Accept-headers
Voordelen van Markdown voor AI-agents
1. Tokens
Een fractie van de bytes. Markdown laat navigatie, stijlen, scripts en layout-wrappers weg. Hierdoor besteden AI-agents hun context aan de eigenlijke tekst in plaats van aan de DOM-structuur.
2. Retrieval
Hogere signaal-ruisverhouding. Er zijn geen advertenties, zijbalken met gerelateerde inhoud of modale overlays die de tekst vertroebelen die een RAG-pipeline (Retrieval-Augmented Generation) moet embedden.
3. Latency
Sneller eerste token. Er is minder data om op te halen, minder om te parsen en minder om in het contextvenster te plaatsen voordat het model begint met genereren.
Hoe AI-klaar is jouw URL?
Een URL is optimaal geconfigureerd voor AI-agents wanneer deze aan de volgende criteria voldoet:
- Serveert Markdown bij een
Accept: text/markdown header.
- Stelt de
Vary: Accept header in.
- Weigert niet-ondersteunde types met een 406-foutmelding.
- Houdt rekening met q-waarden.
Zelf testen via de command line
Je kunt de respons van een server handmatig controleren met de volgende curl commando's:
De headers inspecteren:
curl -sI -H "Accept: text/markdown" <URL>
De Markdown-body ophalen:
curl -s -H "Accept: text/markdown" <URL>
Aanvullende bronnen
- Quick start: De kleinste werkende setup. Drie stappen: één server, twee responsen.
- Guides: Fundamenten en correctheid, waaronder Vary, q-waarden, 406, caching en de Cloudflare zero-config shortcut.
- Recipes: Copy-paste configuraties voor onder andere Nginx, Caddy, WordPress, Discourse, Laravel, Rails, Cloudflare Workers, Next.js, Astro, Apache, SvelteKit, Nuxt/Nitro, Express, Go en Django.
- Status: Een AI-agent support matrix die aangeeft welke AI-agents
Accept: text/markdown verzenden wanneer hun browse- of fetch-tools een URL bezoeken.
- Reference: Standaarden en bronnen, zoals RFC 9110, RFC 7763, het
text/markdown mediatype en aangrenzende specificaties.
Bronverwijzingen
- RFC 7763
- RFC 8288
- RFC 9110
Door gebruik te maken van content negotiation (inhoudsonderhandeling) kun je schone Markdown aan AI-agents leveren vanaf dezelfde URL die HTML serveert aan browsers. Aangezien je website de content al bezit, zorgt het aanbieden van een Markdown-variant ervoor dat AI-clients navigatie, scripts en layout-markup kunnen overslaan en direct de inhoud kunnen lezen.
Serveer Markdown aan AI-agents via Accept-headers
Voordelen van Markdown voor AI-agents
1. Tokens
Een fractie van de bytes. Markdown laat navigatie, stijlen, scripts en layout-wrappers weg. Hierdoor besteden AI-agents hun context aan de eigenlijke tekst in plaats van aan de DOM-structuur.
2. Retrieval
Hogere signaal-ruisverhouding. Er zijn geen advertenties, zijbalken met gerelateerde inhoud of modale overlays die de tekst vertroebelen die een RAG-pipeline (Retrieval-Augmented Generation) moet embedden.
3. Latency
Sneller eerste token. Er is minder data om op te halen, minder om te parsen en minder om in het contextvenster te plaatsen voordat het model begint met genereren.
Hoe AI-klaar is jouw URL?
Een URL is optimaal geconfigureerd voor AI-agents wanneer deze aan de volgende criteria voldoet:
- Serveert Markdown bij een
Accept: text/markdown header.
- Stelt de
Vary: Accept header in.
- Weigert niet-ondersteunde types met een 406-foutmelding.
- Houdt rekening met q-waarden.
Zelf testen via de command line
Je kunt de respons van een server handmatig controleren met de volgende curl commando's:
De headers inspecteren:
curl -sI -H "Accept: text/markdown" <URL>
De Markdown-body ophalen:
curl -s -H "Accept: text/markdown" <URL>
Aanvullende bronnen
- Quick start: De kleinste werkende setup. Drie stappen: één server, twee responsen.
- Guides: Fundamenten en correctheid, waaronder Vary, q-waarden, 406, caching en de Cloudflare zero-config shortcut.
- Recipes: Copy-paste configuraties voor onder andere Nginx, Caddy, WordPress, Discourse, Laravel, Rails, Cloudflare Workers, Next.js, Astro, Apache, SvelteKit, Nuxt/Nitro, Express, Go en Django.
- Status: Een AI-agent support matrix die aangeeft welke AI-agents
Accept: text/markdown verzenden wanneer hun browse- of fetch-tools een URL bezoeken.
- Reference: Standaarden en bronnen, zoals RFC 9110, RFC 7763, het
text/markdown mediatype en aangrenzende specificaties.
Bronverwijzingen
- RFC 7763
- RFC 8288
- RFC 9110
Groetjes,