In dit artikel trekt de auteur een parallel tussen de huidige ontwikkelingen in AI-modellen en de 'gratis lunch' uit het tijdperk van de wet van Moore. Waar hardwareprestaties vroeger automatisch stegen zonder dat ontwikkelaars hun code hoefden te optimaliseren, is dat tijdperk voorbij.
De auteur stelt dat dit nu ook geldt voor AI: men kan niet langer simpelweg wachten op een krachtiger model voor dezelfde prijs. Vanwege de hoge kosten van topmodellen zoals Fable, is er een verschuiving nodig naar een strategische inzet van modellen. Hierbij worden high-end modellen gebruikt voor complex ontwerp en architectuur, terwijl routinematige programmeertaken worden uitgevoerd door goedkopere alternatieven (zoals GLM 5.2), ondersteund door een sterke contextstrategie.
De auteur verwacht dat deze trend zal aanhouden, mede door de voortdurende verbetering van 'coding harnesses' en toenemende zorgen over privacy en dataretentie.
Fable & het einde van de gratis lunch
De analogie van de gratis lunch
Toen de wet van Moore van kracht was, had het geen zin om je code meedogenloos te optimaliseren. Binnen 18 maanden zou er een CPU verschijnen die je prestaties zou verdubbelen. Herb Sutter verwees hier in een invloedrijk essay beroemd naar als "de gratis lunch" (the free lunch).
Toen de wet van Moore in het midden van de jaren 2000 vertraagde (specifiek toen de prestaties van single-threaded processoren stagneerden), moesten we plotseling nadenken over parallellisatie, architectuur, geheugenlokaliteit, enzovoort. We moesten nadenken over welk werk waar werd uitgevoerd.
De verschuiving in AI-modellen
Voor de komst van Fable voelde het zinloos om te veel tijd te besteden aan het verbeteren van je coding harness of contextstrategieën. Er zou een nieuw model verschijnen voor dezelfde prijs (of goedkoper!) dat de meeste van je problemen zou oplossen.
Maar toen kwam Fable. Het was (en is!) ongelooflijk. De kosten waren echter zo hoog, en Opus was goed genoeg (evenals 5.6, K3 en zelfs GLM) voor het grootste deel van de code die we nodig hadden. Daarom begonnen we na te denken over welk werk waar werd uitgevoerd.
Strategische inzet van modellen
Vooral GLM 5.2 is het waard om op te focussen. Dit model kwam in dezelfde week uit als Fable en kost ongeveer een negende van de prijs (en ongeveer een vijfde van de kosten van Opus 5). Is GLM een negende van de kwaliteit van Fable? Misschien, voor bepaalde klassen van taken. Maar voor de meeste routinematige programmeertaken is het meer dan voldoende, zeker wanneer het wordt voorzien van een uitstekende context.
Ik chat vaak met Fable om een ontwerp te bevragen en vorm te geven, voordat ik een briefing overdraag aan GLM.
Toekomstperspectief en privacy
Ik krijg vaak de tegenwerping dat dalende inferentieprijzen ons uiteindelijk terug zullen brengen naar het versturen van alle taken via de grootste modellen. Ik ben daar echter niet zo overtuigd van: diezelfde winst zal ook ten goede komen aan de K3's en Qwens. Naarmate we betere harnesses blijven ontwikkelen, wordt het gemakkelijker om zwakkere (maar nog steeds geweldige) modellen te voorzien van voldoende context om goed te presteren.
Daarnaast zorgt een ander aspect van Fable waarschijnlijk voor een blijvende verandering. De toegangscontroles, dynamische degradatie en de vereiste dataretentie van Fable hebben genoeg bedrijven (en landen!) doen nadenken over waar ze hun traces naartoe sturen en waar ze hun tokens vandaan halen.
Fable & het einde van de gratis lunch
De analogie van de gratis lunch
Toen de wet van Moore van kracht was, had het geen zin om je code meedogenloos te optimaliseren. Binnen 18 maanden zou er een CPU verschijnen die je prestaties zou verdubbelen. Herb Sutter verwees hier in een invloedrijk essay beroemd naar als "de gratis lunch" (the free lunch).
Toen de wet van Moore in het midden van de jaren 2000 vertraagde (specifiek toen de prestaties van single-threaded processoren stagneerden), moesten we plotseling nadenken over parallellisatie, architectuur, geheugenlokaliteit, enzovoort. We moesten nadenken over welk werk waar werd uitgevoerd.
De verschuiving in AI-modellen
Voor de komst van Fable voelde het zinloos om te veel tijd te besteden aan het verbeteren van je coding harness of contextstrategieën. Er zou een nieuw model verschijnen voor dezelfde prijs (of goedkoper!) dat de meeste van je problemen zou oplossen.
Maar toen kwam Fable. Het was (en is!) ongelooflijk. De kosten waren echter zo hoog, en Opus was goed genoeg (evenals 5.6, K3 en zelfs GLM) voor het grootste deel van de code die we nodig hadden. Daarom begonnen we na te denken over welk werk waar werd uitgevoerd.
Strategische inzet van modellen
Vooral GLM 5.2 is het waard om op te focussen. Dit model kwam in dezelfde week uit als Fable en kost ongeveer een negende van de prijs (en ongeveer een vijfde van de kosten van Opus 5). Is GLM een negende van de kwaliteit van Fable? Misschien, voor bepaalde klassen van taken. Maar voor de meeste routinematige programmeertaken is het meer dan voldoende, zeker wanneer het wordt voorzien van een uitstekende context.
Ik chat vaak met Fable om een ontwerp te bevragen en vorm te geven, voordat ik een briefing overdraag aan GLM.
Toekomstperspectief en privacy
Ik krijg vaak de tegenwerping dat dalende inferentieprijzen ons uiteindelijk terug zullen brengen naar het versturen van alle taken via de grootste modellen. Ik ben daar echter niet zo overtuigd van: diezelfde winst zal ook ten goede komen aan de K3's en Qwens. Naarmate we betere harnesses blijven ontwikkelen, wordt het gemakkelijker om zwakkere (maar nog steeds geweldige) modellen te voorzien van voldoende context om goed te presteren.
Daarnaast zorgt een ander aspect van Fable waarschijnlijk voor een blijvende verandering. De toegangscontroles, dynamische degradatie en de vereiste dataretentie van Fable hebben genoeg bedrijven (en landen!) doen nadenken over waar ze hun traces naartoe sturen en waar ze hun tokens vandaan halen.
Groetjes,