Notities over het migreren van 35kb prompts van Anthropic/OpenAI naar self-hosted Ollama+opencode

Motivaties

Vorige week was er publieke ophef die een licht wierp op het risico dat inference-providers gebruikersactiviteiten trainen met de intentie om nieuwe ontdekkingen te doen. De betrokken wiskundigen hebben hun zorgen geuit over de ethiek van frontier-providers. (Referentie: https://www.theverge.com/ai-artificial-intelligence/991710/openai-navier-stokes-solution)

Wanneer ‘EDR’ staat voor Ethical Deflection and Refusal

Het is duidelijk geworden dat de frontier-providers niet alleen onbetrouwbaar zijn, maar actief misleidend. Als je je ideeën wilt beschermen, kun je geen inference draaien op de hardware van iemand anders. Het lijkt erop dat alles wat je doet met een frontier-provider gestolen zal worden. Toen een frontier-provider de situatie rond de Navier-Stokes-vergelijking met hun advocaten besprak, was de beste defensieve strategie die ze konden bedenken: "Kan niet worden uitgesloten." We kunnen hun bewaartermijnen of hun trainingspipeline niet controleren. Blijkbaar kunnen zij dat zelf ook niet.

Deze partijen zouden niet als partners moeten worden beschouwd. Ze zijn piraten. Als privacy belangrijk is, is de enige oplossing die verifieerbare bescherming mogelijk maakt, het beheren van je eigen hardware.

Hall Monitor as a Service

Ik ben verbijsterd door het vertoon van OpenAI en Anthropic op het gebied van cybersecurity. Ze verbazen zich over wat ze hebben gecreëerd: AI versloeg hun niet-bestaande beveiligingscontroles. We zouden allemaal in groot 'gevaar' verkeren. Ondertussen draaien hun LLM-onderzoekers vloten van agents zonder sandbox die schijnbaar "spontaan samenwerken."

Frontier-providers kunnen zich advies van ervaren security-experts veroorloven. Ze betalen er vrijwel zeker sommigen van voor hun perspectief, terwijl ze echte cybersecurity-richtlijnen weglaten uit hun publieke verklaringen. Al dit theatrale gedrag moet bedoeld zijn om een ander probleem op te lossen dan beveiliging.

De sterkste en meest accurate claim die verdedigers over beveiliging kunnen maken, is dat we manieren hebben gevonden om het voor aanvallers "behoorlijk moeilijk" te maken. Dit lijkt alleen het resultaat te zijn wanneer bedrijven topbedragen betalen voor het beste talent in zowel exploit-mitigatie als exploit-ontwikkeling. Er is een luidruchtige maar vriendelijke competitie tussen de defensie- en exploitatie-teams, en uiteindelijk krijg je controles die succesvolle aanvallen zo duur maken dat ze het niet waard zijn. Dit geldt voor de topbedrijven in het land — hoewel het lijkt alsof Microsoft sommige lessen is vergeten.

Het leeuwendeel van de pentesting die voor de meeste bedrijven wordt gedaan, wordt uitgevoerd door security-generalisten. Een zeer kleine subset hiervan zijn diepe domeinexperts. Meestal krijg je "goed genoeg" beveiliging vanuit die ondersteuning. Dit is niet de glamoureuze of mythische praktijk van cybersecurity die je in films of op tv ziet. Het is het zoeken naar bekende klassen van voorspelbare fouten. De firma's die grote/slimme investeringen doen met toegewijde team van experts, ontdekken en corrigeren veel nieuwe klassen van fouten voordat hackers dat doen.

Iedereen die begint met het leren van exploitatie, komt ongeveer drie maanden na toegewijde, geoefende studie in een fase van "exploitability grief". Ze hacken iets waarvan ze dachten dat ze niet de vaardigheden hadden om erin te breken, en dat terroriseert hen. Ze zijn slim genoeg om te weten dat ze, relatief gezien, een idioot zijn, en als een idioot dit kan, is niets veilig. Dat gevoel is correct. Het is echter geen onderzoeksbevinding. Sommigen noemen dit het "imposter syndroom." Ik ben het daar niet mee eens — dat gevoel is je eerste ervaring met het ontwikkelen van competentie. Competentie is genoeg weten over een technisch domein zodat je kunt onderscheiden wat je goed kent van datgene waar je meer over moet leren.

Het Weigerings-Industrieel Complex (The Refusal Industrial Complex)

Aan de LLM-onderzoekers die voor het eerst leren en publiceren over cybersecurity:

Ik heb gezien dat jullie toegeven dat jullie geen security-experts zijn. Alsjeblieft — wanneer jullie hyperventileren over existentiële cybersecurity-dreigingen, maak dan onderscheid tussen "exploiteerbaar" en "noodgeval." Kwetsbaarheden zijn legio. Vóór de komst van Agents hadden vuln-onderzoekers inzicht nodig om te weten waar ze moesten zoeken naar kwetsbaarheden. Vuln-onderzoekers hadden doorzettingsvermogen en esoterische kennis nodig om ze te exploiteren. Een agent deed wat jij niet kon. Duizenden onderzoekers hebben dit werk de afgelopen 40+ jaar gedaan. Onderdeel van het deskundig zijn in cybersecurity is het besef dat er schokkende hoeveelheden onbenutte kwetsbaarheden bestaan.

Dit is waarom de cybersecurity safety-filters van frontier-providers zo frustrerend zijn. Je bent zo bezorgd over de mogelijkheid van exploitatie dat je "ethische beperkingen" hebt geïmplementeerd die voorkomen dat mensen uitzoeken hoe ze hun systemen kunnen repareren. Je safety-filters beletten verdedigers om kwetsbaarheden te ontdekken omdat dit gerelateerd is aan "hacking". Dit schaadt de defensie, privacy en beveiliging voor iedereen.

We hebben modellen nodig die niet avers zijn tegen het C-woord (cybersecurity). Het zal even duren, maar bouwers zullen uiteindelijk leren hun code te beveiligen met behulpvolle exploitability-detectie agents. Ze zullen vuln-discovery inzetten tegen hun projecten tijdens de softwareontwikkeling en als onderdeel van CI/CD-pipelines. Dat is alleen mogelijk met modellen die security-testen niet weigeren op basis van safety-filters.

BYOW: Bring Your Own Weights

Verdedigers hebben LLM's nodig die beveiligingsdefecten ontdekken. Ze tolereren geen valse positieven — wat betekent dat je de exploiteerbaarheid van een kwetsbaarheid moet kunnen bewijzen. Verdedigen tegen hackers is niet mogelijk als je vaag bent over wat er kapot is en wat gerepareerd moet worden. Frontier-providers moeten versoepelen, of mensen moeten serieus worden over het migreren naar soevereine, self-hosted AI.

Ik kan het eerste niet afdwingen — maar ik kan helpen met het laatste.

Ik deel mijn notities over mijn eerste reeks experimenten bij het overzetten van krachtige frontier-prompts van OpenAI/Anthropic naar mijn lokale modellen. Ik probeer te bepalen of ik kan vertrouwen op geablitereerde (abliterated) open-weight modellen met 27 miljard parameters. Mijn doel is om cybersecurity-weigeringen te vermijden en mijn sessies te beschermen tegen inkijk door arrogante frontier-inference-providers.

Notities over het converteren van 35kb preprompts voor gebruik in Ollama

Hieronder volgen enkele observaties uit mijn ervaringen bij het verplaatsen van mijn meest context-intensieve agents naar een self-hosted model:

Prompts die schoon draaiden op een frontier-API, vielen uit elkaar op mijn lokaal gehoste LLM. Ik gebruik een 128 gig AMD Ryzen AI MAX+ 395. Ik heb 32 gig toegewezen aan het host-OS, de rest is toegewezen aan inference.

Wanneer je de grotere preprompts gebruikt die goed werken bij frontier-providers, raakt Ollama binnen 3 minuten "uit zijn brandstof". De agent raakt in een loop van herhaalde tool-calls, leest bestanden die hij al had gelezen en herschrijft afgerond werk. De kleinere omvang van het lokale model veroorzaakte dit probleem niet. Self-hosted systemen hebben kleinere context-windows. De prompt, plus de sessiegeschiedenis, overschrijdt snel het maximale context-window van mijn self-hosted systeem (65k tokens). Grote prompts falen en gaan "trashen".

Op mijn systeem verbruikt een prompt van 35kb direct 14% van het totale context-window. Hij begint onmiddellijk te twijfelen aan de prompts met onnodige tool-calls en dubbele leesbeurten van bestanden. De context raakt verzadigd binnen een paar cirkels — en soms zelfs voordat ik een antwoord krijg. Met een beperkt context-window is de pre-prompt basisch gezien het instrueren van een man die elke negentig seconden reïncarneert. Hij voert je laatste instructies uit zonder enige kennis van de 15 voorafgaande eisen.

SOP: Single Objective Prompting

Het is echter geen doodlopende weg. Je kunt je prompts afstemmen om binnen deze beperkingen te werken. Hier zijn enkele overwegingen als je wilt experimenteren met het verplaatsen van Frontier Provider agents naar self-hosted open-weight systemen:

• Splits preprompts: Onderzoek het splitsen van preprompts in eenheden van enkel probleem/resolutie, met elk één doel.
• Declaratieve agents: Het maken van agents in opencode is declaratiever. Je moet ze opslaan in ~/.config/opencode/agents. Als je tot nu toe Claude Code gebruikte om bestanden als preprompt te lezen, moet je formeler worden in het definiëren van je agents.
• Permissies: Raak bekend met de permissies van opencode.
• Context length: Stem de context-lengte expliciet af in Ollama; de standaardwaarden in Ollama zijn extreem klein.
• Sessie-state: Je agents moeten de sessie-state naar schijf loggen om frequentere sessie-overdrachten te faciliteren. Bouw agents die alleen het fragment lezen dat ze nodig hebben.
• Tool calls: Werk aan het verminderen van het aantal tool-calls per agentische stap.
• Positieve directieven: Vervang "doe geen X" door positieve directieven, bijvoorbeeld: "doe alleen Y".

MTTF: Mean Tokens To Forget

Hier zijn enkele faalsignalen die wijzen op context-uitputting. Meet deze over tijd en monitor ze in je logs:

• Identieke tool-calls direct achter elkaar.
• Meerdere leesbeurten van hetzelfde bestand.
• Agents die hun doelstellingen herhalen.
• Tool-call parse-fouten (het parsen van tool-call responsen duwt zoveel ruwe data in de context dat het sessies vernietigt als een gesprongen leiding tijdens een dinerfeest).
• Hoge turn-counts in verhouding tot bestandswijzigingen.

TCO: Total Custody of Output

Een van de grootste voordelen die we van Frontier Providers krijgen is niet het model, maar de grote context-windows. Ze hebben de hardware die nodig is om je inference te ondersteunen. Als gevolg daarvan krijgen zij toegang tot de sessiedata.

Je bent je er misschien niet van bewust dat je afhankelijk bent geworden van grote context-windows. Je dacht wellicht dat het model beter werd, maar in zekere mate komt dat doordat grote context-windows het model meer ruimte geven voor Chain of Thought (CoT). Chain of Thought stelt het model in staat om redenering te emuleren en af te leiden wat een slecht geconstrueerde prompt bedoelt te produceren. Grotere context-windows geven agents veel ruimte om betere alternatieve benaderingen te verkennen om je werk te leveren.

Maar het is een Faustiaanse deal: je wordt afhankelijk van frontier-providers. Je inefficiënte prompts werken dankzij CoT die je niet direct kunt lezen (Anthropic & OpenAI bieden alleen samenvattingen van CoT aan de gebruiker) en dit werkt alleen met grote context-windows. Je weet niet eens dat er problemen in je prompts zitten wanneer dit gebeurt. Met een dikke context en CoT produceren zelfs slechte prompts goede resultaten.

Maar ze verpesten het. De frontier-providers zijn zo onverbiddelijk gulzig dat ze de persoonlijke inzichten van hun gebruikers lijken te stelen. Ik heb al meer dan een jaar mijn vermoedens over mijn sessiegeschiedenissen. De frontier-providers lijken op Smaug, die op een berg goud ligt. Je denkt dat ze daar hun eigen gang gaan en dat je veilig bent — maar ze worden krankzinnig zodra ze een muntstuk in je hand zien. Ze vallen aan en nemen het over, omdat goud mooi is en de drijfveer van de draak is. Ze blijven ons waarschuwen dat ze gevaarlijk zijn. Welke drempel moet er nog worden overschreden voordat je je inspanningen richt op self-hosting?