De auteur is overgestapt van het betaalde Claude Code-abonnement naar een lokale LLM-setup in VS Code, primair gedreven door de beperkende gebruikslimieten van de cloud-dienst.
Kernpunten uit het artikel:
- Modelkeuze: Na het testen van diverse modellen (zoals Codestral en DeepSeek) koos de auteur voor Qwen2.5 Coder 14B. Dit model biedt de beste balans tussen prestaties en geheugengebruik op een M5 MacBook Air met 16GB RAM.
- Technische setup: De infrastructuur bestaat uit Docker Model Runner als inference backend en de Continue extensie voor de integratie in VS Code. Hiermee kunnen functies zoals chat, inline bewerkingen en een agent-modus lokaal worden uitgevoerd.
- Praktische ervaring: Hoewel lokale LLM's minder autonoom zijn en minder gepolijst aanvoelen dan Claude, zijn ze zeer effectief voor routinetaken zoals bugfixing en het toevoegen van kleine functies.
- Conclusie: Het grootste voordeel is het verdwijnen van kosten en tijdslimieten, wat resulteert in een ongehinderde workflow voor taken die geen high-end cloudmodel vereisen.
Ik heb het abonnement van $20 van Claude Code ingeruild voor een lokaal LLM in VS Code, en ik krijg meer gedaan
Claude Code is een van de beste coding agents die er zijn, maar het is erg lastig om er echt iets mee te bereiken vanwege de bijna onbruikbare gebruikslimieten. Ik heb het abonnement van $20 bijna zes maanden gebruikt, maar onlangs opgezegd vanwege de enorme hoeveelheid alternatieven die er inmiddels zijn. Ik heb het ingeruild voor een lokale LLM-laag die ik in VS Code heb gebouwd. Hoewel de ervaring niet precies hetzelfde is, stelt het me in staat om veel meer werk te verzetten dan ik met Claude Code kon.
Voor het grootste deel van mijn werk is geen high-end model nodig. Meestal gaat het om het oplossen van bugs, het toevoegen van kleine functies of het verbeteren van bestaande code. Een lokaal LLM voert deze taken zeer goed uit zonder dat ik hiervoor hoef te betalen.
Het juiste model selecteren
Bij een lokale setup is het vinden van het juiste model dat comfortabel draait op je hardware naast VS Code de belangrijkste taak. Ik gebruik een M5 MacBook Air met 16GB unified memory, waardoor het kiezen van het krachtigste open model geen reële optie was.
Ik heb meerdere modellen getest, waaronder:
- GPT-OSS 20B: Heeft sterke redeneer- en tool-calling capaciteiten, maar vereist ongeveer 16GB geheugen. In combinatie met mijn ontwikkelomgeving zorgde dit voor teveel druk op het geheugen.
- Codestral 22B: Lichter door agressievere kwantisering en produceert goede code-aanvullingen, maar werkt beter als autocomplete-model dan als agent die een project moet wijzigen.
- DeepSeek Coder V2 Lite: Een goede optie die slechts ongeveer 9GB in beslag neemt.
- Qwen2.5 Coder (7B en 14B): De 7B-versie is aanzienlijk sneller, maar begint de draad kwijt te raken wanneer een wijziging meerdere bestanden beïnvloedt. De 14B-versie biedt de beste balans. De Q4-versie neemt ongeveer 9GB in beslag, wat genoeg geheugen overlaat voor andere zaken. Bovendien is dit model specifiek getraind voor code-generatie, redeneren en bugfixing. Het ondersteunt ook tool calling, wat essentieel is wanneer de interface (Continue) het model vraagt om bestanden te inspecteren en wijzigingen uit te voeren in plaats van enkel een blok code terug te geven.
Hoewel Qwen2.5 Coder 14B een groot project nog niet zo goed begrijpt als Claude, presteert het goed wanneer ik een duidelijk gedefinieerde bug of een kleine functie aanlever. Bovendien is het snel genoeg om actief te blijven terwijl ik normaal in VS Code werk.
De lokale LLM-laag bouwen in VS Code
Om het systeem als onderdeel van VS Code te laten voelen in plaats van een chatbot in een apart venster, heb ik de volgende setup gebruikt:
- Inference Backend: Ik gebruik Docker Model Runner. Docker regelt het downloaden, opslaan en lokaal draaien van het model. Na het inschakelen in Docker Desktop heb ik de OpenAI-compatibele API blootgesteld op poort 12434 en het model binnengehaald.
- Interface: Voor de koppeling met de editor gebruik ik Continue. Deze extensie voegt een chatpaneel, inline code-bewerking, autocomplete en een agent-modus toe die het project kan doorzoeken en bestanden kan wijzigen.
Na het installeren van de extensie kan het lokale model worden toegevoegd aan ~/.continue/config.yaml:
- name: Qwen2.5 Coder 14B
provider: openai
model: ai/qwen2.5-coder:14B
apiBase: http://localhost:12434/engines/v1
apiKey: not-needed
contextLength: 8192
maxTokens: 2048
temperature: 0.1
capabilities:
- tool_use
roles:
- chat
- edit
- apply
Deze configuratie maakt het lokaal draaiende model het hoofdmodel in Continue. Het kan het huidige project inspecteren, door bestanden zoeken, bewerkingen voorstellen en wijzigingen toepassen zonder de code naar een externe API te sturen. De agent-modus kan tools gebruiken zoals bestandzoekopdrachten en terminalcommando's, hoewel de kwaliteit hiervan sterk afhangt van het gekozen model.
Ik gebruik het 14B-model voor chat en code-bewerkingen, maar een kleiner Qwen2.5 Coder-model voor autocomplete om de latentie te verlagen. Daarnaast bewaar ik projectspecifieke instructies in .continue/rules/, waaronder de projectstructuur, testcommando's en bestanden die het model niet mag wijzigen.
De ervaring in de praktijk
De ervaring is minder gepolijst dan bij Claude Code. Qwen2.5 Coder 14B doet er langer over om een groot project te begrijpen, maakt meer fouten en heeft soms veel specifiekere instructies nodig. Ik kan het model geen vage vraag stellen en verwachten dat het het volledige probleem zelfstandig oplost.
Echter, voor de meeste van mijn programmeerwerkzaamheden is dat niveau van autonomie niet nodig. Als ik vraag om een specifieke bug op te lossen, een bestaand component bij te werken of een kleine functie toe te voegen, wordt de klus meestal geklaard. Continue geeft automatisch de relevante bestanden mee, waardoor ik de voorgestelde wijzigingen kan toepassen zonder code tussen verschillende vensters te kopiëren.
De prestaties op mijn M5 MacBook Air met 16GB geheugen zijn acceptabel, al blijft er minder RAM over voor andere zaken wanneer het 14B-model draait. De reacties starten trager op dan bij een cloudmodel en de laptop wordt warm tijdens langere sessies. Ik vermijd daarom het draaien van andere geheugenintensieve applicaties wanneer Docker al containers beheert.
De grootste verbetering is dat ik niet langer nadenk over gebruikslimieten. Ik kan het model vragen om dezelfde functie op drie verschillende manieren uit te leggen, een mislukte bewerking opnieuw proberen of een lange lijst met kleine fixes doorlopen zonder me zorgen te maken over een verbruikte tijdslimiet van vijf uur.
Conclusie: Maak gebruik van lokale LLM's
Claude Code maakt gebruik van modellen die zeer krachtig zijn, maar ook duur. Of je nu Opus 4.8, Opus 5 of Fable 5 gebruikt, de kosten liggen hoog. Hoewel je met lokale modellen niet hetzelfde prestatieniveau haalt, zijn ze uitstekend geschikt voor taken waarbij de volledige potentie van een Claude-model niet nodig is. Lokale LLM's zijn zeer effectief voor het oplossen van kleine bugs, het toevoegen van eenvoudige functies of het doen van onderzoek.
Ik heb het abonnement van $20 van Claude Code ingeruild voor een lokaal LLM in VS Code, en ik krijg meer gedaan
Claude Code is een van de beste coding agents die er zijn, maar het is erg lastig om er echt iets mee te bereiken vanwege de bijna onbruikbare gebruikslimieten. Ik heb het abonnement van $20 bijna zes maanden gebruikt, maar onlangs opgezegd vanwege de enorme hoeveelheid alternatieven die er inmiddels zijn. Ik heb het ingeruild voor een lokale LLM-laag die ik in VS Code heb gebouwd. Hoewel de ervaring niet precies hetzelfde is, stelt het me in staat om veel meer werk te verzetten dan ik met Claude Code kon.
Voor het grootste deel van mijn werk is geen high-end model nodig. Meestal gaat het om het oplossen van bugs, het toevoegen van kleine functies of het verbeteren van bestaande code. Een lokaal LLM voert deze taken zeer goed uit zonder dat ik hiervoor hoef te betalen.
Het juiste model selecteren
Bij een lokale setup is het vinden van het juiste model dat comfortabel draait op je hardware naast VS Code de belangrijkste taak. Ik gebruik een M5 MacBook Air met 16GB unified memory, waardoor het kiezen van het krachtigste open model geen reële optie was.
Ik heb meerdere modellen getest, waaronder:
- GPT-OSS 20B: Heeft sterke redeneer- en tool-calling capaciteiten, maar vereist ongeveer 16GB geheugen. In combinatie met mijn ontwikkelomgeving zorgde dit voor teveel druk op het geheugen.
- Codestral 22B: Lichter door agressievere kwantisering en produceert goede code-aanvullingen, maar werkt beter als autocomplete-model dan als agent die een project moet wijzigen.
- DeepSeek Coder V2 Lite: Een goede optie die slechts ongeveer 9GB in beslag neemt.
- Qwen2.5 Coder (7B en 14B): De 7B-versie is aanzienlijk sneller, maar begint de draad kwijt te raken wanneer een wijziging meerdere bestanden beïnvloedt. De 14B-versie biedt de beste balans. De Q4-versie neemt ongeveer 9GB in beslag, wat genoeg geheugen overlaat voor andere zaken. Bovendien is dit model specifiek getraind voor code-generatie, redeneren en bugfixing. Het ondersteunt ook tool calling, wat essentieel is wanneer de interface (Continue) het model vraagt om bestanden te inspecteren en wijzigingen uit te voeren in plaats van enkel een blok code terug te geven.
Hoewel Qwen2.5 Coder 14B een groot project nog niet zo goed begrijpt als Claude, presteert het goed wanneer ik een duidelijk gedefinieerde bug of een kleine functie aanlever. Bovendien is het snel genoeg om actief te blijven terwijl ik normaal in VS Code werk.
De lokale LLM-laag bouwen in VS Code
Om het systeem als onderdeel van VS Code te laten voelen in plaats van een chatbot in een apart venster, heb ik de volgende setup gebruikt:
- Inference Backend: Ik gebruik Docker Model Runner. Docker regelt het downloaden, opslaan en lokaal draaien van het model. Na het inschakelen in Docker Desktop heb ik de OpenAI-compatibele API blootgesteld op poort 12434 en het model binnengehaald.
- Interface: Voor de koppeling met de editor gebruik ik Continue. Deze extensie voegt een chatpaneel, inline code-bewerking, autocomplete en een agent-modus toe die het project kan doorzoeken en bestanden kan wijzigen.
Na het installeren van de extensie kan het lokale model worden toegevoegd aan ~/.continue/config.yaml:
- name: Qwen2.5 Coder 14B
provider: openai
model: ai/qwen2.5-coder:14B
apiBase: http://localhost:12434/engines/v1
apiKey: not-needed
contextLength: 8192
maxTokens: 2048
temperature: 0.1
capabilities:
- tool_use
roles:
- chat
- edit
- apply
Deze configuratie maakt het lokaal draaiende model het hoofdmodel in Continue. Het kan het huidige project inspecteren, door bestanden zoeken, bewerkingen voorstellen en wijzigingen toepassen zonder de code naar een externe API te sturen. De agent-modus kan tools gebruiken zoals bestandzoekopdrachten en terminalcommando's, hoewel de kwaliteit hiervan sterk afhangt van het gekozen model.
Ik gebruik het 14B-model voor chat en code-bewerkingen, maar een kleiner Qwen2.5 Coder-model voor autocomplete om de latentie te verlagen. Daarnaast bewaar ik projectspecifieke instructies in .continue/rules/, waaronder de projectstructuur, testcommando's en bestanden die het model niet mag wijzigen.
De ervaring in de praktijk
De ervaring is minder gepolijst dan bij Claude Code. Qwen2.5 Coder 14B doet er langer over om een groot project te begrijpen, maakt meer fouten en heeft soms veel specifiekere instructies nodig. Ik kan het model geen vage vraag stellen en verwachten dat het het volledige probleem zelfstandig oplost.
Echter, voor de meeste van mijn programmeerwerkzaamheden is dat niveau van autonomie niet nodig. Als ik vraag om een specifieke bug op te lossen, een bestaand component bij te werken of een kleine functie toe te voegen, wordt de klus meestal geklaard. Continue geeft automatisch de relevante bestanden mee, waardoor ik de voorgestelde wijzigingen kan toepassen zonder code tussen verschillende vensters te kopiëren.
De prestaties op mijn M5 MacBook Air met 16GB geheugen zijn acceptabel, al blijft er minder RAM over voor andere zaken wanneer het 14B-model draait. De reacties starten trager op dan bij een cloudmodel en de laptop wordt warm tijdens langere sessies. Ik vermijd daarom het draaien van andere geheugenintensieve applicaties wanneer Docker al containers beheert.
De grootste verbetering is dat ik niet langer nadenk over gebruikslimieten. Ik kan het model vragen om dezelfde functie op drie verschillende manieren uit te leggen, een mislukte bewerking opnieuw proberen of een lange lijst met kleine fixes doorlopen zonder me zorgen te maken over een verbruikte tijdslimiet van vijf uur.
Conclusie: Maak gebruik van lokale LLM's
Claude Code maakt gebruik van modellen die zeer krachtig zijn, maar ook duur. Of je nu Opus 4.8, Opus 5 of Fable 5 gebruikt, de kosten liggen hoog. Hoewel je met lokale modellen niet hetzelfde prestatieniveau haalt, zijn ze uitstekend geschikt voor taken waarbij de volledige potentie van een Claude-model niet nodig is. Lokale LLM's zijn zeer effectief voor het oplossen van kleine bugs, het toevoegen van eenvoudige functies of het doen van onderzoek.
Groetjes,