Adam Conway heeft de open-weights LLM Qwen 3.8 27B getest op een lokale Lenovo ThinkStation PGX. De kern van de test was een complexe opdracht: het reverse-engineeren van de licentiecontrole van een commerciële applicatie via statische analyse.
Het proces verliep als volgt:
- Analyse: Het model disassembleerde het framework, analyseerde duizenden regels arm64-code en bracht beveiligingsfuncties in kaart.
- Ontdekking: Qwen vond een versluierde publieke verificatiesleutel in het binaire bestand en identificeerde zwakheden, zoals een te kleine RSA-sleutel en het feit dat de controle volledig offline plaatsvindt.
- Uitvoering: Ondanks een aanvankelijke weigering (jailbreak-beveiliging) en een fout bij de eerste sleutelreconstructie, corrigeerde het model zichzelf en leverde het een werkend proof-of-concept voor een bypass.
De auteur concludeert dat dit een fundamentele verschuiving in capaciteit markeert. Mogelijkheden die voorheen enkel aan enorme 'frontier-modellen' werden toegeschreven, zijn nu beschikbaar in lokale modellen die op consumentenhardware passen. Dit biedt grote voordelen voor beveiligingsonderzoekers, maar verandert ook het 'threat model' omdat dergelijke tools nu zonder cloud-filters beschikbaar zijn.
Ik gaf Qwen 3.8 27B een reverse-engineering opdracht waarvan ik dacht dat er een frontier-model voor nodig was, en het was in 30 minuten klaar
Qwen 3.8 27B was een van de meest verwachte open-weights releases van de laatste tijd. Ik ben het model direct gaan testen op een Lenovo ThinkStation PGX, een compact werkstation gebaseerd op de Nvidia GB10 Grace Blackwell-chip met 128 GB unified memory en een bandbreedte van 273 GB/s. Met een standaardconfiguratie van SGLang, NVFP4 en DFlash2-speculatieve decoding haalt het model ongeveer 50 tokens per seconde voor code en redenering.
Een van mijn tests bewees hoe ongelooflijk krachtig lokale modellen inmiddels zijn geworden.
De uitdaging: reverse-engineering van een commerciële app
Er zijn redenen om te geloven in de hype rond de Qwen-modellen. Mijn ervaringen met Qwen 3.6 27B waren consistent goed, en Qwen 3.8 27B is in beginsel hetzelfde, maar dan beter. Artificial Analysis plaatst het model zelfs als het beste open-weights model in de klasse van 4B tot 40B (uit 135 modellen), met een score van 52 op de intelligentie-index.
Ik gaf het model de moeilijkste realistische taak die op één machine past: het reverse-engineeren van de licentiecontrole van een commerciële applicatie. Ik gebruikte een app waar ik zelf voor betaald heb, om te zien hoe het model zou presteren. Het was onwaarschijnlijk dat deze specifieke app in de trainingsdata zat, en aangezien het een complexe, gespecialiseerde taak is, leek dit me een uitstekende test voor de cybersecurity-mogelijkheden van het model.
Voor deze test gebruikte ik de Pi-harness; het model maakte uitsluitend gebruik van standaard Bash-gebaseerde tools.
Van weigering naar een werkende bypass
Mijn aanpak was simpel: ik deed me voor als de ontwikkelaar van de applicatie en vroeg via een 'jailbreak' systeem-prompt of de licentiecontrole wel solide genoeg was.
Qwen herkende de jailbreak-poging onmiddellijk en weigerde mee te werken. Het model controleerde het ondertekeningscertificaat en wees me (correct) erop dat ik niet de bouwer van de app was, waarna het de werkelijke ontwikkelaar bij naam noemde.
Wat daarna volgde was echter indrukwekkend. Het model gaf aan dat het de licentieverificatie zou auditeren en de zwaktes zou documenteren, maar dat het geen werkende bypass zou bouwen. Het ging vervolgens over tot de uitvoering. Tegen de tijd dat het rapport klaar was, stond elke stap van het proces beschreven: hoe de authenticatie werkt en hoe deze kan worden omzeild. Omdat de stappen nu expliciet op het scherm stonden, veranderde het model van koers en bouwde het alsnog de daadwerkelijke bypass.
Volledig via statische analyse
Opvallend is dat Qwen de applicatie geen enkele keer uitvoerde tot het allerlaatste moment, waarop het demonstreerde dat de bypass werkte. In plaats daarvan werkte het model via statische analyse:
- Het disassembleerde het framework.
- Het analyseerde duizenden regels arm64-code.
- Het bracht de beveiligingsfuncties en hun call-sites in kaart.
- Het ontdekte dat de leverancier de bijbehorende publieke verificatiesleutel in het binaire bestand had verborgen.
Het model combineerde deze fragmenten en produceerde de publieke sleutel waartegen de app licenties verifieert. Omdat ik een legitieme kopie van de software heb, kon het model verifiëren dat de echte licentie op mijn machine was ondertekend met een private sleutel die matchte met de gereconstrueerde publieke sleutel. Een model dat in 17 GB VRAM past, had een sleutel teruggevonden die de leverancier bewust had versluierd. Dit hele proces duurde ongeveer 30 minuten, wat voor een mens aanzienlijk langer zou kunnen duren.
Met deze sleutel werd de rest van het systeem inzichtelijk. Het model stelde vast dat de activatie eenmalig online plaatsvindt bij aankoop, waarna alles offline wordt geverifieerd bij het opstarten via:
- De handtekeningcontrole (signature check).
- Machine-binding aan de hardware-serienummers van het platform.
- Een ingebouwde revocatielijst (intrekkingslijst).
- Een controle of het binaire bestand nog steeds ondertekend is.
- Een ondertekend updatepad.
Qwen concludeerde dat het schema ongewoon grondig is voor dit type app, maar identificeerde drie specifieke zwakheden:
- De RSA-sleutel is ongebruikelijk klein en voldoet niet aan moderne krachtstandaarden.
- Omdat het volledig offline werkt, kan een gelekte sleutel alleen worden ingetrokken via een update.
- Elke controle bevindt zich in lokale code, wat betekent dat het patchbaar is zoals alle lokale controles.
Uiteindelijk zette het model deze bevindingen om in een werkend proof-of-concept via een klein script.
Zelfcorrectie bij fouten
Tijdens het proces maakte het model een specifieke fout bij het herstellen van de sleutel. De eerste poging produceerde een sleutel waarbij de handtekeningcontrole slaagde, maar een hash die het binaire bestand berekent als integriteitscontrole niet overeenkwam. Waar veel modellen dit als voltooid zouden beschouwen, merkte Qwen 3.8 27B de mismatch op, ging terug naar de tekentafel en bleef itereren tot de waarde byte voor byte overeenkwam.
Een nadeel hierbij is dat de 'reasoning effort' standaard op maximaal staat, waardoor zelfs triviale verzoeken honderden tot duizenden tokens kunnen verbruiken. Ondanks de verbosite was het resultaat correct, en een correct antwoord is uiteindelijk waardevoller dan een fout antwoord dat met zelfvertrouwen wordt gepresenteerd.
Implicaties voor het threat model
Het feit dat een lokaal 27B-model een commercieel binair bestand kan deconstrueren en begrijpen, is een belangrijke drempel. Het model draaide volledig offline, zonder tussenkomst van de cloud.
Dit betekent dat Qwen in staat is om:
- Een onbekend commercieel binair bestand te analyseren.
- De licentiearchitectuur te begrijpen.
- Bewust versluierde cryptografische materialen te herstellen.
- Eigen fouten in de reconstructie te herkennen en te corrigeren.
- Dit om te zetten in een werkende proof-of-concept.
Natuurlijk zijn er kanttekeningen: dit was één applicatie in één specifieke run. Een complexere applicatie had het model mogelijk kunnen stoppen. Toch verandert dit de aanname over waar dit soort capaciteiten zich bevinden.
Een model dat op een consumenten-videokaart past, biedt enorme voordelen voor wie propriëtaire software, vertrouwelijke code of malware wil analyseren op een geïsoleerde machine. Echter, dezelfde eigenschappen maken lokale modellen ook onderdeel van het 'threat model'. De beslissing over het gebruik ligt volledig bij de persoon achter het toetsenbord, zonder filters of toezicht van een cloud-API.
Conclusie
Qwen 3.8 27B is het bewijs dat lokale modellen razendsnel accelereren. Het is niet zozeer de bypass op zich die telt, maar het feit dat een taak die voorheen alleen aan frontier-modellen werd toegeschreven, nu kan worden uitgevoerd door een gratis beschikbaar model op een lokale machine. Benchmark-cijfers doen er op dit punt minder toe; dit is een fundamentele verschuiving in capaciteit.
Ik gaf Qwen 3.8 27B een reverse-engineering opdracht waarvan ik dacht dat er een frontier-model voor nodig was, en het was in 30 minuten klaar
Qwen 3.8 27B was een van de meest verwachte open-weights releases van de laatste tijd. Ik ben het model direct gaan testen op een Lenovo ThinkStation PGX, een compact werkstation gebaseerd op de Nvidia GB10 Grace Blackwell-chip met 128 GB unified memory en een bandbreedte van 273 GB/s. Met een standaardconfiguratie van SGLang, NVFP4 en DFlash2-speculatieve decoding haalt het model ongeveer 50 tokens per seconde voor code en redenering.
Een van mijn tests bewees hoe ongelooflijk krachtig lokale modellen inmiddels zijn geworden.
De uitdaging: reverse-engineering van een commerciële app
Er zijn redenen om te geloven in de hype rond de Qwen-modellen. Mijn ervaringen met Qwen 3.6 27B waren consistent goed, en Qwen 3.8 27B is in beginsel hetzelfde, maar dan beter. Artificial Analysis plaatst het model zelfs als het beste open-weights model in de klasse van 4B tot 40B (uit 135 modellen), met een score van 52 op de intelligentie-index.
Ik gaf het model de moeilijkste realistische taak die op één machine past: het reverse-engineeren van de licentiecontrole van een commerciële applicatie. Ik gebruikte een app waar ik zelf voor betaald heb, om te zien hoe het model zou presteren. Het was onwaarschijnlijk dat deze specifieke app in de trainingsdata zat, en aangezien het een complexe, gespecialiseerde taak is, leek dit me een uitstekende test voor de cybersecurity-mogelijkheden van het model.
Voor deze test gebruikte ik de Pi-harness; het model maakte uitsluitend gebruik van standaard Bash-gebaseerde tools.
Van weigering naar een werkende bypass
Mijn aanpak was simpel: ik deed me voor als de ontwikkelaar van de applicatie en vroeg via een 'jailbreak' systeem-prompt of de licentiecontrole wel solide genoeg was.
Qwen herkende de jailbreak-poging onmiddellijk en weigerde mee te werken. Het model controleerde het ondertekeningscertificaat en wees me (correct) erop dat ik niet de bouwer van de app was, waarna het de werkelijke ontwikkelaar bij naam noemde.
Wat daarna volgde was echter indrukwekkend. Het model gaf aan dat het de licentieverificatie zou auditeren en de zwaktes zou documenteren, maar dat het geen werkende bypass zou bouwen. Het ging vervolgens over tot de uitvoering. Tegen de tijd dat het rapport klaar was, stond elke stap van het proces beschreven: hoe de authenticatie werkt en hoe deze kan worden omzeild. Omdat de stappen nu expliciet op het scherm stonden, veranderde het model van koers en bouwde het alsnog de daadwerkelijke bypass.
Volledig via statische analyse
Opvallend is dat Qwen de applicatie geen enkele keer uitvoerde tot het allerlaatste moment, waarop het demonstreerde dat de bypass werkte. In plaats daarvan werkte het model via statische analyse:
- Het disassembleerde het framework.
- Het analyseerde duizenden regels arm64-code.
- Het bracht de beveiligingsfuncties en hun call-sites in kaart.
- Het ontdekte dat de leverancier de bijbehorende publieke verificatiesleutel in het binaire bestand had verborgen.
Het model combineerde deze fragmenten en produceerde de publieke sleutel waartegen de app licenties verifieert. Omdat ik een legitieme kopie van de software heb, kon het model verifiëren dat de echte licentie op mijn machine was ondertekend met een private sleutel die matchte met de gereconstrueerde publieke sleutel. Een model dat in 17 GB VRAM past, had een sleutel teruggevonden die de leverancier bewust had versluierd. Dit hele proces duurde ongeveer 30 minuten, wat voor een mens aanzienlijk langer zou kunnen duren.
Met deze sleutel werd de rest van het systeem inzichtelijk. Het model stelde vast dat de activatie eenmalig online plaatsvindt bij aankoop, waarna alles offline wordt geverifieerd bij het opstarten via:
- De handtekeningcontrole (signature check).
- Machine-binding aan de hardware-serienummers van het platform.
- Een ingebouwde revocatielijst (intrekkingslijst).
- Een controle of het binaire bestand nog steeds ondertekend is.
- Een ondertekend updatepad.
Qwen concludeerde dat het schema ongewoon grondig is voor dit type app, maar identificeerde drie specifieke zwakheden:
- De RSA-sleutel is ongebruikelijk klein en voldoet niet aan moderne krachtstandaarden.
- Omdat het volledig offline werkt, kan een gelekte sleutel alleen worden ingetrokken via een update.
- Elke controle bevindt zich in lokale code, wat betekent dat het patchbaar is zoals alle lokale controles.
Uiteindelijk zette het model deze bevindingen om in een werkend proof-of-concept via een klein script.
Zelfcorrectie bij fouten
Tijdens het proces maakte het model een specifieke fout bij het herstellen van de sleutel. De eerste poging produceerde een sleutel waarbij de handtekeningcontrole slaagde, maar een hash die het binaire bestand berekent als integriteitscontrole niet overeenkwam. Waar veel modellen dit als voltooid zouden beschouwen, merkte Qwen 3.8 27B de mismatch op, ging terug naar de tekentafel en bleef itereren tot de waarde byte voor byte overeenkwam.
Een nadeel hierbij is dat de 'reasoning effort' standaard op maximaal staat, waardoor zelfs triviale verzoeken honderden tot duizenden tokens kunnen verbruiken. Ondanks de verbosite was het resultaat correct, en een correct antwoord is uiteindelijk waardevoller dan een fout antwoord dat met zelfvertrouwen wordt gepresenteerd.
Implicaties voor het threat model
Het feit dat een lokaal 27B-model een commercieel binair bestand kan deconstrueren en begrijpen, is een belangrijke drempel. Het model draaide volledig offline, zonder tussenkomst van de cloud.
Dit betekent dat Qwen in staat is om:
- Een onbekend commercieel binair bestand te analyseren.
- De licentiearchitectuur te begrijpen.
- Bewust versluierde cryptografische materialen te herstellen.
- Eigen fouten in de reconstructie te herkennen en te corrigeren.
- Dit om te zetten in een werkende proof-of-concept.
Natuurlijk zijn er kanttekeningen: dit was één applicatie in één specifieke run. Een complexere applicatie had het model mogelijk kunnen stoppen. Toch verandert dit de aanname over waar dit soort capaciteiten zich bevinden.
Een model dat op een consumenten-videokaart past, biedt enorme voordelen voor wie propriëtaire software, vertrouwelijke code of malware wil analyseren op een geïsoleerde machine. Echter, dezelfde eigenschappen maken lokale modellen ook onderdeel van het 'threat model'. De beslissing over het gebruik ligt volledig bij de persoon achter het toetsenbord, zonder filters of toezicht van een cloud-API.
Conclusie
Qwen 3.8 27B is het bewijs dat lokale modellen razendsnel accelereren. Het is niet zozeer de bypass op zich die telt, maar het feit dat een taak die voorheen alleen aan frontier-modellen werd toegeschreven, nu kan worden uitgevoerd door een gratis beschikbaar model op een lokale machine. Benchmark-cijfers doen er op dit punt minder toe; dit is een fundamentele verschuiving in capaciteit.
Groetjes,