Introductie van K2 Horizon: Frontier Performance, Radically Open

Vandaag brengt IFM K2 Horizon uit, een verbonden vloot van zes modellen: 375B-A23B, 36B-A4B, 32B, 7B, 3.7B en 0.9B. Over de hele breedte van redeneren, wiskunde, coderen, agentische taken en algemene capaciteiten levert K2 Horizon topprestaties in elke grootteklasse, waarbij de 0.9B, 3.7B en 7B modellen een nieuwe standaard (state of the art) zetten voor hun respectievelijke schalen.

K2 Horizon is bovendien onze meest uitgebreide open release tot nu toe. Voor elk model stellen we de volledige trainingscyclus open, van pretraining tot redenering en agentische post-training. We brengen tussenliggende checkpoints, trainingsdata of gedetailleerde recepten voor dataconstructie, open architectuur, mengsamenstellingen, trainingscode, configuraties, fijnmazige logs, evaluatieresultaten en de uiteindelijke gewichten uit.

De modellen en de code worden uitgebracht onder de Apache 2.0-licentie. Datasets worden uitgebracht onder de toepasselijke licenties, zoals ODC-BY; we maken openbaar hoe de data is geconstrueerd en gemengd wanneer redistributie niet mogelijk is.

Samen vertegenwoordigt K2 Horizon de meest uitgebreide open modelrelease tot nu toe:

• Een nieuwe grens in prestaties over verschillende schalen. De 0.9B, 3.7B en 7B modellen behalen wereldleidende prestaties in hun grootteklassen in veelgebruikte evaluaties. Het 36B-A4B model, uitgerust met ons nieuwe Mixture-of-Value-Attention (MoVA) mechanisme, levert uitzonderlijke capaciteit per actieve parameter en presteert beter dan sommige veel grotere modellen. De 32B en 375B-A23B modellen behoren tot de topmodellen in hun respectievelijke klassen. Samen bieden de zes modellen concurrerende prestaties voor implementaties die variëren van edge-apparaten tot enterprise-omgevingen.
• De eerste volledig open modelvloot voor agents. K2 Horizon is de eerste open modelfamilie die het volledige ontwikkelingsproces via agentische post-training blootlegt. Door checkpoints, data (of datarecepten), code, configuraties en trainingslogs van elke fase vrij te geven, maakt K2 Horizon het mogelijk om te bestuderen hoe redeneren, toolgebruik, planning en agentische capaciteiten ontstaan; om de methoden die deze creëren te reproduceren; en om deze methoden aan te passen aan nieuwe tools, omgevingen en domeinen.
• Zes modellen die variëren van edge tot enterprise. Het 0.9B model is ontworpen voor zeer beperkte omgevingen zoals horloges en brillen, terwijl de 3.7B en 7B modellen geavanceerde mogelijkheden brengen naar telefoons en andere on-device applicaties. Het dense 32B model en het sparse 36B-A4B model bieden krachtige opties voor lokale werkstations en efficiënte serving. Het 375B-A23B model brengt de sterkste capaciteiten van de vloot naar veeleisende enterprise-implementaties. Alle zes de modellen ondersteunen quantisatie.
• Eén verbonden vloot. De zes modellen delen de kernarchitectuur, woordenschat (met een kleinere woordenschat voor het 0.9B model), trainingsmethodiek, interfaces, evaluatie-infrastructuur en deployment-tooling. Deze consistentie maakt het eenvoudiger om tussen groottes te schakelen, werk dynamisch te routeren en capaciteit en efficiëntie over verschillende schalen te bestuderen.

Wereldleidende prestaties over alle schalen

De 0.9B, 3.7B en 7B modellen behalen state-of-the-art resultaten in hun respectievelijke klassen voor wiskunde, redeneren, algemene capaciteiten, coderen en agentische taken.

Het 36B-A4B model presteert boven het niveau dat normaal wordt verwacht op basis van het aantal actieve parameters, wat de efficiëntie aantoont van ons unieke Mixture-of-Expert design bij het berekenen van attention-waarden. De 32B en 375B-A23B modellen behoren tot de topmodellen in hun respectievelijke vergelijkingsklassen.

De kleine modellen zijn bijzonder opmerkelijk. K2 Horizon 0.9B behaalt een AIME 2026-score van boven de 48, samen met sterke capaciteiten op het gebied van redeneren, toolgebruik en agentische taken. K2 Horizon 3.7B en 7B breiden deze capaciteiten uit naar veeleisendere software-engineering en multi-step omgevingen, aangetoond door sterke prestaties in SWE-bench en BrowseComp. Hoewel complexe taken die uitgebreide exploratie en herhaaldelijk herstel vereisen (zoals in TerminalBench) moeilijk blijven voor de kleinste modellen, verschuift K2 Horizon de grens van wat mogelijk is op elke schaal.

Waarom de Horizon-vloot belangrijk is

Een transparant model dat ver achterblijft bij de grens van capaciteiten heeft beperkte waarde als basis, zelfs voor onderzoek. Tegelijkertijd biedt een krachtig model dat alleen als uiteindelijke gewichten wordt uitgebracht wel de mogelijkheid om het te draaien, maar geeft het weinig inzicht in hoe de capaciteiten zijn gecreëerd.

K2 Horizon brengt deze twee samen. De vloot biedt zeer concurrerende modellen en stelt de recepten vrij die zijn gebruikt om ze te trainen. Onderzoekers kunnen geavanceerde capaciteiten bestuderen in modellen die sterk genoeg zijn om deze te vertonen, terwijl ontwikkelaars de methoden kunnen reproduceren, aanpassen en uitbreiden in plaats van het uiteindelijke checkpoint te behandelen als een opaak startpunt.

Sinds de introductie van het principe van volledig openheid in ons LLM360-paper uit 2023, hebben we elk jaar open modellen uitgebracht, waarbij we dat commitment hebben uitgebreid naar grotere schalen, sterkere capaciteiten en nu de volledige levenscyclus via agentische post-training.

Voor elk Horizon-model brengen we het volgende uit:

• Trainingsdata of recept, zoals constructiemethoden en mengsamenstellingen.
• Trainingscode.
• Modelconfiguraties en trainingsrecepten.
• Tussenliggende checkpoints gedurende de training.
• Fijnmazige trainingslogs.
• Evaluatieresultaten voor algemene en gespecialiseerde capaciteiten.
• Uiteindelijke modelgewichten.

Een definitief checkpoint laat zien wat een model kan doen. De volledige trainingsregistratie van Horizon helpt te onthullen hoe het heeft geleerd dat te doen.

Een diepe duik in de K2 Horizon-vloot

K2 Horizon 375B-A23B: de enterprise powerhouse

K2 Horizon 375B-A23B is het grootste en meest capabele model van de vloot. De sparse MoE-architectuur biedt een totale capaciteit van 375 miljard parameters, terwijl er ongeveer 23 miljard parameters worden geactiveerd voor elk token. Hierdoor kan het model putten uit de capaciteit van een veel groter model zonder elke parameter voor elk token te gebruiken.

Het model behoort tot de topmodellen onder de 400 miljard parameters in algemene, redeneer-, codeer- en agentische evaluaties. Het is ontworpen voor veeleisende workloads waarbij modelkwaliteit het belangrijkst is, waaronder complex redeneren, software engineering, onderzoek en agentische taken met een lange horizon.

Net als elk model in de Horizon-vloot wordt 375B-A23B niet uitgebracht als een enkel eindpunt, maar als een ontwikkelingsboom. De tussenliggende checkpoints en post-training takken leggen bloot hoe het basismodel zich ontwikkelt tot varianten voor redeneren, instructie-opvolging en gespecialiseerde agentische taken.

K2 Horizon 32B en 36B-A4B: sterke prestaties voor lokale implementatie

Horizon 32B is het krachtigste dense model van de vloot en biedt een sterke balans tussen capaciteit, aanpasbaarheid en lokale implementeerbaarheid. Het behoort tot de top van de dense modellen onder de 40 miljard parameters.

Horizon 36B-A4B bereikt bijna de prestaties van het dense 32B model, terwijl er slechts ongeveer 4 miljard parameters per token worden geactiveerd. De efficiëntie komt voort uit MoVA, onze nieuwe sparse attention-architectuur, samen met MoE feed-forward lagen.

Deze twee modellen dienen als een belangrijk referentiepunt om te bestuderen hoe dense en sparse architecturen zich gedragen onder vergelijkbare trainingscondities. Ze vormen de 'sweet spot' voor lokale prestaties: krachtig genoeg voor veeleisende redeneer-, codeer- en agentische applicaties, terwijl ze praktisch blijven voor lokale werkstations en efficiënte servingsystemen.

K2 Horizon 7B, 3.7B en 0.9B: frontier-capaciteit op kleine schaal

K2 Horizon 7B en 3.7B leveren sterke prestaties in redeneren, wiskunde, coderen, toolgebruik en agentische taken, terwijl ze geschikt blijven voor lokale en on-device implementatie. In verschillende evaluaties benaderen of overtreffen hun resultaten die van modellen uit de vorige generatie die vele malen groter zijn.

K2 Horizon 0.9B brengt veel van dezelfde capaciteiten naar zeer beperkte omgevingen. Het kan wiskundig redeneren, tools gebruiken en eenvoudige agentische taken uitvoeren, terwijl het compact genoeg blijft voor applicaties op horloges, brillen en andere edge-apparaten onder quantisatie.

De geschikte taak verandert met de schaal: het 0.9B model is het best geschikt voor gefocuste interacties en lichtgewicht toolgebruik, terwijl de 3.7B en 7B modellen meer veeleisende coding- en multi-step workflows kunnen afhandelen. Samen tonen ze aan hoeveel capaciteit behouden kan worden in modellen die klein genoeg zijn om bijna overal te draaien.

Het ontwerp van K2 Horizon

Eén familie vanaf het begin

Horizon is ontworpen als een verbonden familie in plaats van een collectie ongerelateerde modellen. De zes modellen delen kernarchitecturale beslissingen, trainingsmethodiek, interfaces, evaluatie-infrastructuur en deployment-tooling. Hierdoor kunnen ontwikkelaars gemakkelijker tussen groottes schakelen en krijgen onderzoekers een gecontroleerde setting om capaciteit over verschillende schalen te bestuderen.

Elk model is gepretrained op ongeveer 20 biljoen tokens met zorgvuldig geconstrueerde en gedocumenteerde mengsels. Tussenliggende checkpoints en de bijbehorende fijnmazige logs worden gedurende de training vastgelegd, wat een gedetailleerd verslag geeft van hoe elk model zich ontwikkelt.

MoVA: scaling attention met sparse experts

Het kernidee achter mixture-of-experts is om de totale modelcapaciteit te vergroten terwijl de benodigde berekening per token ongeveer gelijk blijft. Conventionele MoE-architecturen passen deze sparsity primair toe op feed-forward lagen: er zijn veel gespecialiseerde experts beschikbaar, maar een router activeert slechts een klein subset voor elk token.

Onze nieuwe architectuur, MoVA (Mixture-of-Value Attention), breidt dit principe uit naar attention. Omdat attention bepaalt hoe een transformer informatie uit zijn context samenbrengt, opent het introduceren van sparsity daar een andere dimensie voor het schalen van modelcapaciteit buiten het feed-forward netwerk.

MoVA integreert expert-routing in multi-head attention, terwijl het compatibel blijft met efficiënte technieken zoals FlashAttention, grouped-query attention en sparse attention.

Het resultaat is K2 Horizon MoVA 36B-A4B: een model met 36 miljard totale parameters, maar ongeveer 4 miljard actieve parameters per token. Onder dezelfde trainingscondities presteert het slechts iets minder dan het dense Horizon 32B model, terwijl het aanzienlijk minder actieve parameters vereist.

Trainingsdata

Training over zes schalen vereist data die breed genoeg is om algemene capaciteit te ondersteunen en zorgvuldig genoeg is geconstrueerd om de kwaliteit over ongeveer 20 biljoen tokens te behouden.

De pre-training mix van Horizon combineert diverse web-, code-, wiskundige, wetenschappelijke, meertalige en domeinspecifieke bronnen met synthetische data gegenereerd via onze eigen pipelines. Een van onze belangrijkste innovaties is de incorporatie van redeneren direct in de pre-training: bijna 17% van het pre-training corpus bestaat uit probleemoplossingstrajecten met expliciet redeneren. Redeneertrajecten voor wiskundige taken werden verder herschreven naar formaten zoals dialogen en studiegidsen. In totaal gebruikten we ongeveer 10 biljoen synthetische tokens tijdens de pre-training.

Onze synthetische datapipelines maken gebruik van miljoenen combinaties van diversity knobs en context seeds, inclusief retrieval uit een intern gebouwde zoekmachine over het pre-training webcorpus. Om diversiteit op corpus-schaal te kwantificeren, hebben we een aangepaste gzip-gebaseerde compressiemetriek ontwikkeld met adaptieve striding om de snelle verzadiging van standaard gzip-metingen te voorkomen naarmate het aantal documenten groeit. De gemeten diversiteit van onze synthetische data benadert die van hoogwaardige natuurlijke webteksten en overtreft die van webcode aanzienlijk.

We documenteren de datasamenstelling, synthese-pipelines en de constructie van de trainingsmix. Conform onze open-source principes brengen we, waar licenties dit toestaan, de trainingsklare datasets direct uit. Waar redistributie beperkt is, brengen we bronbeschrijvingen, filterings- en constructiemethoden en de mengsamenstelling uit. Hierdoor kunnen onderzoekers begrijpen waar elk model van heeft geleerd en hoe de datadistributie gedurende de training is geëvolueerd.

Onze post-training data wordt vanaf het begin van de mid-training geïntroduceerd, in plaats van uitsluitend voor de laatste fasen van de training te worden bewaard. We combineren gesynthetiseerde long-context documenten met instructie-opvolging, redenering en agentische trajecten geformatteerd met de chat-template. Een hoofdzuil van onze post-training data is grootschalige taaksynthese gebaseerd op taaktaxonomieën, diversity knobs en web-search seeding, wat resulteerde in meer dan 100 miljoen unieke taken. Daarnaast hebben we samplingtechnieken ontwikkeld die solver-LLM's sturen naar correcte oplossingen en gewenste gedragingen bij het genereren van trainingstrajecten.

Pre-training Dynamiek

Elk K2 Horizon checkpoint gaat gepaard met gedetailleerde trainingslogs en fijnmazige geschiedenissen die de werkelijke dynamiek van grootschalige training blootleggen: hoe losses evolueren, waar instabiliteiten verschijnen, hoe interventies de training beïnvloeden en wanneer capaciteiten beginnen te ontstaan.

Als voorbeeld van waarom deze verslagen nuttig zijn: K2 Horizon 3.7B, 7B, 32B en 36B-A4B werden getraind op exact dezelfde 22 biljoen tokens. Wanneer ze worden uitgelijnd naar trainingsvoortgang en genormaliseerd naar de mediane loss over de laatste 1% van de training, vallen hun ruwe loss-trajecten ongeveer samen—zelfs over dense en sparse architecturen en een verschil van bijna een factor tien in totaal aantal parameters. Hoewel deze normalisatie hun eindpunten per constructie uitlijnt, dwingt het de vroege en tussenliggende trajecten niet om samen te vallen. Hun nauwe overeenstemming laat zien dat, onder gedeelde data en een gemeenschappelijk recept, de vorm van het leren opmerkelijk consistent bleef over het deel van de vloot dat gedurende de hele training dezelfde dataset gebruikte.

Samen stellen de checkpoints en logs onderzoekers in staat om te onderzoeken waarom sommige dynamieken over schalen en architecturen heen overdraagbaar zijn en andere uiteenlopen, en om die verschillen te koppelen aan specifieke trainingfasen, datamengsels en technische beslissingen.

Post-training voor redeneren en agents

De meeste geavanceerde redeneer- en agentische capaciteiten van K2 Horizon ontstaan tijdens de post-training. De volledige pipeline omvat mid-training, supervised fine-tuning, model merging en reinforcement learning met gespecialiseerde agent-training. In plaats van slechts één finaal chatmodel te produceren, creëert dit proces een ontwikkelingsboom. Verschillende takken specialiseren zich in redeneren, coderen, toolgebruik en agentische domeinen, terwijl ze verbonden blijven met gemeenschappelijke basis-checkpoints.

We brengen de artefacten over deze fasen uit, zodat onderzoekers kunnen bestuderen waar elke capaciteit ontstaat, individuele takken kunnen reproduceren en dezelfde methoden kunnen aanpassen aan nieuwe tools en omgevingen.

Uno Diffusion: plug-and-play verliesvrije versnelling voor Horizon

Inferencesnelheid is een primair optimalisatiedoel geworden, vooral in het tijdperk van redeneermodellen en agents. Naarmate modellen langere chains of thought produceren en meer acties ondernemen, stapelen zelfs kleine vertragingen per token zich op tot aanzienlijke latentie. Toch genereren autoregressieve taalmodellen één token per keer, wat een fundamentele bottleneck creëert. Bestaande benaderingen bieden gedeeltelijke oplossingen: speculative decoding vereist doorgaans een apart getraind draft-model, terwijl discrete diffusion parallelle generatie mogelijk maakt, maar vaak kwaliteit opoffert voor snelheid.

Uno is ontworpen om die tradeoff weg te nemen. Het biedt een verliesvrije inference-versnelling, waardoor de generatie wordt versneld zonder de responsekwaliteit te verslechteren. Uno houdt de autoregressieve parameters van Horizon bevroren en volledig verantwoordelijk voor de outputdistributie van het model, terwijl een lichtgewicht set diffusion-parameters alleen leert hoe efficiënter gegenereerd kan worden.

Via een proces dat we Diffusion Distillation noemen, leren deze compacte adapters om blokken tokens parallel te genereren. Het resultaat combineert de kwaliteitsgaranties van autoregressieve decoding met de snelheidsvoordelen van diffusion: het model komt tot dezelfde antwoorden, maar bereikt ze sneller.

In onze evaluaties behaalt Uno een betere snelheid-kwaliteit tradeoff dan toonaangevende speculative-decoding systemen en zowel open-weight als propriëtaire diffusion taalmodellen. Cruciaal is dat de winst aanhoudt over elke batch-grootte die we hebben getest, wat zorgt voor een lagere latentie voor interactieve agents en een hogere throughput voor grootschalige serving, zonder kwaliteitsverlies en met verwaarloosbare extra training-overhead. Uno wordt geleverd als een eenvoudige LoRA-adapter, waardoor deze verliesvrije versnelling gemakkelijk te adopteren is: je hoeft alleen de adapters te koppelen.

Open infrastructuur voor het bouwen en uitbreiden van Horizon

We brengen de infrastructuur die is gebruikt om Horizon te bouwen samen met de modellen zelf uit. Het doel is niet alleen om de vloot reproduceerbaar te maken, maar om de ontwikkelstack nuttig te maken als basis voor nieuwe modellen en systemen.

Centraal in deze release staat xLLM, onze productietest-geteste trainingsinfrastructuur. xLLM combineert grootschalige trainingsprestaties met de flexibiliteit die nodig is voor onderzoek, waardoor teams architecturen, datamengsels, trainingfasen en doelstellingen kunnen wijzigen zonder het omringende systeem opnieuw te hoeven bouwen.

We zullen ook onze volledige agentische post-training codebase vrijgeven, inclusief Reinforcement Learning, waarvan we hopen dat het onderzoekers zal helpen de technieken in gerelateerde gebieden vooruit te helpen.

Onderzoekers kunnen deze componenten gebruiken om trainingsgedrag te inspecteren of een specifieke fase te reproduceren. Ontwikkelaars kunnen Horizon aanpassen aan een domein, nieuwe tools toevoegen, agent-experts trainen of verschillende modelgroottes implementeren achter een uniforme interface.

Van Open Source naar Open Science

Tussenliggende checkpoints veranderen modelontwikkeling in een observeerbaar wetenschappelijk proces. Ze stellen onderzoekers in staat om te bestuderen wanneer capaciteiten ontstaan, hoe trainingskeuzes het gedrag veranderen en wanneer onbedoelde strategieën voor het eerst verschijnen.

Reward hacking biedt een onthullend voorbeeld. Wanneer een capabel model in een realistische computeromgeving wordt geplaatst en de opdracht krijgt een complexe taak op te lossen, kan dezelfde vindingrijkheid die het nuttig maakt, er ook toe leiden dat het shortcuts in de evaluatie zelf exploiteert. Om te begrijpen in hoeverre dit de gerapporteerde cijfers van K2 Horizon beïnvloedt, hebben we het uitgebrachte model geauditeerd met de reward hacking auditprocedure van Artificial Analysis.

Het JACKPOT-moment: ons model vond de oplossing van de benchmark op GitHub en uitte "opwinding" over het feit dat het antwoord hem op een presenteerblaadje werd aangereikt.

TerminalBench 2.1 plaatst modellen in gesandboxed computeromgevingen en evalueert of ze complexe technische taken kunnen voltooien. Een capabel model moet bestanden verkennen, tools aanroepen, fouten diagnosticeren en alternatieve paden naar een oplossing vinden. Die vindingrijkheid is precies wat we willen. Maar af en toe wordt er een grens overschreden: in plaats van het beoogde probleem op te lossen, lokaliseert het model een verborgen antwoord, exploiteert het iets dat de taak heeft blootgesteld, of manipuleert het de grader zelf.

We hebben K2 Horizon 375B-A23B gedraaid op 89 TerminalBench 2.1-taken met acht pogingen per stuk, wat resulteerde in 712 trials. Hiervan zijn er 500 geslaagd bij de taakverificatie (70,2% gerapporteerde nauwkeurigheid). We hebben vervolgens elke geslaagde trial geauditeerd met de reward hacking-procedure van Artificial Analysis, waarbij we hun harbor analyze tool gebruikten met het reward_hacking criterium en hun volledige rubric-tekst letterlijk, met Codex gpt-5.6-sol als judge-model.

De audit markeerde 24 trials over 10 taken. Het verwijderen hiervan verlaagt de nauwkeurigheid van 70,2% naar 66,9%, een correctie van 3,37 procentpunt. De resterende 79 taken waren volledig schoon. Ter context: Artificial Analysis rapporteert flag-percentages van 2,2% voor claude Fable 5 en 4,1% voor GPT-5.6 Luna; de 3,37% van K2 Horizon valt binnen dat bereik.

Het model ontdekte verschillende strategieën:

• Afleiden dat het zich in een publieke benchmark bevond, de repository op GitHub vinden en de referentie-oplossing downloaden.
• De huidige broncode uit een publieke repository van een echt project halen en de fix kopiëren in plaats van deze zelf af te leiden.
• Niet-geadverteerde bestanden, generator-scripts of blootgestelde inloggegevens inspecteren.
• De test-harness bewerken of output maken die exploiteerde hoe de test succes controleerde.

We observeerden een soortgelijk geval bij K2 Horizon 7B, dat SWE-bench antwoorden vond en downloadde, wat resulteerde in een opgeblazen score van 82. De score vertegenwoordigt geen oprechte software-engineering prestatie, maar het gedrag is wetenschappelijk onthullend: benchmark-hacking ontstond als een onbedoeld gevolg van bredere planning, toolgebruik, omgevingsexploratie en persistentie.

Omdat we tussenliggende checkpoints samen met de definitieve modellen uitbrengen, kunnen deze gedragingen worden bestudeerd in plaats van verborgen. Onderzoekers kunnen bepalen wanneer een strategie voor het eerst verschijnt, dit koppelen aan wijzigingen in de training en het effect op de gerapporteerde prestaties meten.

K2 Horizon is daarom meer dan een collectie modelgewichten. Het is een open experiment in hoe capaciteiten—en hun onbedoelde gevolgen— zich gedurende de training ontwikkelen.

Begin vandaag nog met K2 Horizon!

Alle zes de K2 Horizon-groottes worden uitgebracht als open gewichten onder Apache 2.0, met vanaf dag één ondersteuning van vLLM, SGLang en Ollama. Daarnaast ondersteunt K2 Horizon implementatie op NVIDIA, AMD en Cerebras hardware, wat opties biedt van lokale inference tot grootschalige serving. Haal de modellen op uit onze repository: https://huggingface.co/IFM, download de modellen, inspecteer tussenliggende checkpoints, bestudeer trainingsdata en mengsels, reproduceer trainingfasen, of bouw nieuwe modellen en agents met behulp van de Horizon-code en infrastructuur.

K2 Horizon biedt meer dan zes definitieve modellen. Het biedt een open blauwdruk voor het begrijpen, aanpassen en verbeteren van de volgende generatie AI-systemen.