In dit artikel analyseert Calvin French-Owen de verschuiving naar kleinere, efficiëntere AI-modellen, zoals gpt-5.6-luna. Hij beargumenteert dat de drastische verlaging van de kosten per token de belangrijkste barrière voor consumenten-AI wegneemt, waardoor applicaties die voorheen financieel onhaalbaar waren nu wel rendabel worden.
French-Owen maakt een essentieel onderscheid tussen twee soorten werk:
- 'IQ 180'-werk: Complex, geniaal werk dat fundamentele doorbraken vereist.
- 'Token-spuwer'-werk: Operationele taken, zoals het bewaken van voortgang en het zijn van een responsieve gesprekspartner.
Terwijl de absolute topmodellen (frontier-level) nodig blijven voor wetenschap en engineering, voorspelt hij een explosieve groei in de vraag naar modellen die 'snel, goedkoop en goed genoeg' zijn voor de dagelijkse zakelijke gang van zaken.
Kleine modellen zijn gearriveerd
De afgelopen weken heb ik gespeeld met gpt-5.6-luna. Het is schokkend capabel, snel en slim. Ik zie regelmatig snelheden van ongeveer 100 tokens per seconde (tps), terwijl het moeiteloos door mijn codebase, e-mails en kennisbank vliegt.
Het belangrijkste aspect van Luna is echter de kostprijs. Ik heb geprobeerd enkele vrij complexe onderzoekdraadjes uit te voeren, en het is behoorlijk lastig om een hoge rekening op te bouwen. Zelfs wanneer het model door duizenden e-mails moet zoeken, blijven de API-kosten beperkt tot enkele tientallen centen.
Met GLM 5.3 hebben we zelfs een nieuwe optie op de Pareto-front. Wanneer ik programmeer, grijp ik bijna altijd naar de duurste en meest capabele modellen (zoals Fable 5 of 5.6 Sol). Hierdoor was het makkelijk om de vooruitgang die de kleine, snelle modellen hebben geboekt, over het hoofd te zien.
De barrière voor consumenten-AI
Een aantal investers met wie ik heb gesproken, merkte het volgende op: "Het is vreemd dat we niet meer consumenten-AI-bedrijven zien. Hoe komt dat?"
Het antwoord is eenvoudig: de kosten per token.
In de tijd vóór AI zag het draaiboek voor grote consumenten-apps er als volgt uit:
- Maak een overtuigende website die relatief goedkoop is om te beheren.
- Trek een grote groep gebruikers aan (meestal via viraliteit).
- Haal kapitaal op en schaal naar meer gebruikers.
- Creëer een advertentiemarktplaats.
Dit beschrijft grotendeels de meeste grote consumentenbedrijven (zoals Google, Facebook, Snapchat, etc.).¹
Maar wat als je AI aan je product wilt toevoegen? Dan krijg je plotseling echte inferentiekosten bij elk verzoek. Hierdoor stijgt de hoeveelheid benodigd kapitaal dramatisch.
Een persoonlijke test van mij is het bouwen van een dagelijkse nieuwssite die volledig op mij is gepersonaliseerd:
- Doe onderzoek naar
@calvinfo op het internet.
- Bepaal welk nieuws zij interessant zouden vinden.
- Bouw een microsite met de topverhalen van vandaag, gepersonaliseerd voor hen.
- Doorzoek hiervoor platforms zoals HN, Reddit, Twitter, etc.
Met de vorige generatie modellen (de Sonnet-klasse) zou je ongeveer $1 per keer uitgeven om ergens uit te komen. Een bedrag van $30 per maand in rekening brengen is onhoudbaar voor een consumenten-app. Er valt natuurlijk veel te optimaliseren, maar als je vraagt wat de Wall Street Journal of The Economist vraagt, moet je ook een vergelijkbare waarde leveren.
Kijkend naar Luna zijn de resultaten echter behoorlijk acceptabel, terwijl de gemiddelde kosten rond de $0,10 liggen. Dat verandert de zaak volledig.
"IQ 180" versus de "token-spuwer"
Ik denk dat dit nog interessanter wordt in de zakelijke wereld. Mijn medeoprichter van Segment, Peter, en ik vergeleken onlangs onze ervaringen tijdens een wandeling. In zijn verschillende startups heeft Peter twee soorten werk onderscheiden:
- Het "IQ 180"-werk: Een soort geniale wetenschapper die een krankzinnige oplossing bedenkt waar je zelf nooit aan gedacht zou hebben.
- Het "token-spuwer"-werk: Ultra-responsief zijn en de voortgang bewaken op tientallen verschillende fronten tegelijk.
Peter leidt meerdere bedrijven. Naast Segment heeft hij meer dan $100 miljoen opgehaald voor Charm Industrial en onlangs een Series A afgerond voor Revoy. Hij is ongelooflijk georganiseerd en efficiënt met zijn tijd.
Toch merkte Peter op dat ongeveer 95% van het werk dat hij doet, in de tweede categorie valt. Het gaat om het voeren van gesprekken, mensen een duwtje in de juiste richting geven en het wegwerken van operationele hindernissen.
Om duidelijk te zijn: Peter zegt dat zijn bedrijven vandaag de dag kansloos zouden zijn zonder een technisch brein met een "IQ 180" om de diepe problemen op te lossen. Maar het grootste deel van zijn eigen dagelijkse werk valt simpelweg in categorie 2.²
De toekomst van "goed genoeg"
Ik verwacht dat de vraag naar "frontier-level" modellen (de absolute topmodellen) zal blijven groeien, vooral in velden die fundamenteel nieuwe doorbraken of ontdekkingen vereisen, zoals engineering, harde wetenschap en modeltraining.
Tegelijkertijd denk ik dat de vraag naar "snel, goedkoop en goed genoeg"-modellen nu pas echt gaat exploderen.
Denk aan de mensen met wie je dagelijks interactie hebt: collega's, leveranciers en klanten. Negen van de tien keer wil je iemand die superresponsief is en simpelweg zaken voor je afhandelt. De meeste "menselijke tokens" bij bedrijven worden vandaag de dag op deze manier verbruikt — bij werving wordt er sterk gezocht naar het archetype van "snel, goedkoop en goed genoeg".
Er moet nog veel gebeuren om deze modellen een realiteit te maken voor het bedrijfsleven: nieuwe raamwerken, beveiliging tegen prompt injection, rollen en permissies. Maar ik ben ervan overtuigd dat we dat gaan oplossen.
Als je ook experimenteert met het nuttig maken van kleine modellen, stuur me dan gerust een bericht.
***
Voetnoten ¹ Amazon en Netflix zijn hierop opmerkelijke uitzonderingen. ² Peter is hier bescheiden; hij is zelf ook vlijmscherp.
Kleine modellen zijn gearriveerd
De afgelopen weken heb ik gespeeld met gpt-5.6-luna. Het is schokkend capabel, snel en slim. Ik zie regelmatig snelheden van ongeveer 100 tokens per seconde (tps), terwijl het moeiteloos door mijn codebase, e-mails en kennisbank vliegt.
Het belangrijkste aspect van Luna is echter de kostprijs. Ik heb geprobeerd enkele vrij complexe onderzoekdraadjes uit te voeren, en het is behoorlijk lastig om een hoge rekening op te bouwen. Zelfs wanneer het model door duizenden e-mails moet zoeken, blijven de API-kosten beperkt tot enkele tientallen centen.
Met GLM 5.3 hebben we zelfs een nieuwe optie op de Pareto-front. Wanneer ik programmeer, grijp ik bijna altijd naar de duurste en meest capabele modellen (zoals Fable 5 of 5.6 Sol). Hierdoor was het makkelijk om de vooruitgang die de kleine, snelle modellen hebben geboekt, over het hoofd te zien.
De barrière voor consumenten-AI
Een aantal investers met wie ik heb gesproken, merkte het volgende op: "Het is vreemd dat we niet meer consumenten-AI-bedrijven zien. Hoe komt dat?"
Het antwoord is eenvoudig: de kosten per token.
In de tijd vóór AI zag het draaiboek voor grote consumenten-apps er als volgt uit:
- Maak een overtuigende website die relatief goedkoop is om te beheren.
- Trek een grote groep gebruikers aan (meestal via viraliteit).
- Haal kapitaal op en schaal naar meer gebruikers.
- Creëer een advertentiemarktplaats.
Dit beschrijft grotendeels de meeste grote consumentenbedrijven (zoals Google, Facebook, Snapchat, etc.).¹
Maar wat als je AI aan je product wilt toevoegen? Dan krijg je plotseling echte inferentiekosten bij elk verzoek. Hierdoor stijgt de hoeveelheid benodigd kapitaal dramatisch.
Een persoonlijke test van mij is het bouwen van een dagelijkse nieuwssite die volledig op mij is gepersonaliseerd:
- Doe onderzoek naar
@calvinfo op het internet.
- Bepaal welk nieuws zij interessant zouden vinden.
- Bouw een microsite met de topverhalen van vandaag, gepersonaliseerd voor hen.
- Doorzoek hiervoor platforms zoals HN, Reddit, Twitter, etc.
Met de vorige generatie modellen (de Sonnet-klasse) zou je ongeveer $1 per keer uitgeven om ergens uit te komen. Een bedrag van $30 per maand in rekening brengen is onhoudbaar voor een consumenten-app. Er valt natuurlijk veel te optimaliseren, maar als je vraagt wat de Wall Street Journal of The Economist vraagt, moet je ook een vergelijkbare waarde leveren.
Kijkend naar Luna zijn de resultaten echter behoorlijk acceptabel, terwijl de gemiddelde kosten rond de $0,10 liggen. Dat verandert de zaak volledig.
"IQ 180" versus de "token-spuwer"
Ik denk dat dit nog interessanter wordt in de zakelijke wereld. Mijn medeoprichter van Segment, Peter, en ik vergeleken onlangs onze ervaringen tijdens een wandeling. In zijn verschillende startups heeft Peter twee soorten werk onderscheiden:
- Het "IQ 180"-werk: Een soort geniale wetenschapper die een krankzinnige oplossing bedenkt waar je zelf nooit aan gedacht zou hebben.
- Het "token-spuwer"-werk: Ultra-responsief zijn en de voortgang bewaken op tientallen verschillende fronten tegelijk.
Peter leidt meerdere bedrijven. Naast Segment heeft hij meer dan $100 miljoen opgehaald voor Charm Industrial en onlangs een Series A afgerond voor Revoy. Hij is ongelooflijk georganiseerd en efficiënt met zijn tijd.
Toch merkte Peter op dat ongeveer 95% van het werk dat hij doet, in de tweede categorie valt. Het gaat om het voeren van gesprekken, mensen een duwtje in de juiste richting geven en het wegwerken van operationele hindernissen.
Om duidelijk te zijn: Peter zegt dat zijn bedrijven vandaag de dag kansloos zouden zijn zonder een technisch brein met een "IQ 180" om de diepe problemen op te lossen. Maar het grootste deel van zijn eigen dagelijkse werk valt simpelweg in categorie 2.²
De toekomst van "goed genoeg"
Ik verwacht dat de vraag naar "frontier-level" modellen (de absolute topmodellen) zal blijven groeien, vooral in velden die fundamenteel nieuwe doorbraken of ontdekkingen vereisen, zoals engineering, harde wetenschap en modeltraining.
Tegelijkertijd denk ik dat de vraag naar "snel, goedkoop en goed genoeg"-modellen nu pas echt gaat exploderen.
Denk aan de mensen met wie je dagelijks interactie hebt: collega's, leveranciers en klanten. Negen van de tien keer wil je iemand die superresponsief is en simpelweg zaken voor je afhandelt. De meeste "menselijke tokens" bij bedrijven worden vandaag de dag op deze manier verbruikt — bij werving wordt er sterk gezocht naar het archetype van "snel, goedkoop en goed genoeg".
Er moet nog veel gebeuren om deze modellen een realiteit te maken voor het bedrijfsleven: nieuwe raamwerken, beveiliging tegen prompt injection, rollen en permissies. Maar ik ben ervan overtuigd dat we dat gaan oplossen.
Als je ook experimenteert met het nuttig maken van kleine modellen, stuur me dan gerust een bericht.
***
Voetnoten ¹ Amazon en Netflix zijn hierop opmerkelijke uitzonderingen. ² Peter is hier bescheiden; hij is zelf ook vlijmscherp.
Groetjes,