Ornith-1.5: Van Self-Scaffolding naar Self-Improvement
Vandaag introduceren we Ornith-1.5, een belangrijke stap richting het bouwen van foundation models via end-to-end zelfverbetering. Ornith-1.5 breidt het self-scaffolding framework uit dat werd geïntroduceerd in Ornith-1.0 tot een completere lus van zelfverbetering: het model stelt nieuwe taken voor, genereert taakspecifieke scaffolds en produceert solution rollouts voor reinforcement learning. Hiermee creëert het model continu nieuwe leerervaringen waaruit het zichzelf kan verbeteren.
Modelvarianten en Prestaties
Ornith-1.5 is beschikbaar in drie modelgroottes: 397B MoE, 35B MoE en 9B dense. Het model is ontworpen voor sterke algemene intelligentie op het gebied van redeneren, agentische taken en coderen. Ornith-1.5 behaalt state-of-the-art prestaties onder open-source modellen van vergelijkbare grootte over een breed scala aan benchmarks.
Ornith-1.5-397B (Flagship)
Op de grootste schaal behaalt Ornith-1.5-397B een score van 86,1 op Terminal-Bench 2.1 en 56,0 op DeepSWE. Hiermee presteert het model op hetzelfde niveau als Claude Opus 4.8 (85,0 en 59,0) en overtreft het toonaangevende open-source modellen van vergelijkbare grootte, waaronder GLM-5.2 (82,7 en 46,2) en DeepSeek-V4-Flash-0731 (82,7 en 54,4).
Ornith-1.5-35B
De 35B MoE variant presteert significant beter dan zijn gelijke, Qwen 3.6-35B, op alle coding- en agentische benchmarks. Ondanks dat er slechts 3B parameters per token worden geactiveerd, overtreft dit model ook dense modellen zoals Gemma 4-31B en Meta’s Muse Glimmer-30B met grote marges op agentic coding:
- Terminal-Bench 2.1: 68,5 (tegenover 43,4 voor Gemma 4-31B en 51,7 voor Muse Glimmer-30B).
- SWE-Bench Verified: 79,0 (tegenover 52,0 voor Gemma 4-31B en 76,0 voor Muse Glimmer-30B).
Ornith-1.5-9B (Edge)
De compacte Ornith-1.5-9B levert eveneens opmerkelijk sterke resultaten met een score van 47,0 op Terminal-Bench 2.1 en 70,6 op SWE-Bench Verified. Met de gekwantiseerde Ornith-1.5-9B-Mobile versie kan het model eenvoudig worden ingezet op iPhone- en Android-apparaten, terwijl het grotere modellen zoals Gemma 4-31B en Qwen 3.6-35B substantieel overtreft.
---
Zelfverbetering via Zelfgegenereerde Taken, Harnesses en Oplossingen
Ornith-1.5 breidt Ornith-1.0 uit door de zelfverbeteringslus te verbreden. In plaats van alleen de optimalisatie van scaffolds en rollouts, optimaliseert het model nu gezamenlijk de generatie van taken, de constructie van scaffolds en de solution rollouts. In plaats van te vertrouwen op een vaste set door mensen gecureerde taken en handmatig ontworpen harnesses, genereert Ornith-1.5 continu nieuwe trainingstaken, ontdekt effectieve strategieën om deze op te lossen en verbetert de policy via reinforcement learning.
De drie fasen van de trainingscyclus
Elke trainingscyclus verloopt in drie fasen, waarbij gebruik wordt gemaakt van de omgeving of codebase, instructies over het taaktype en de eerdere geschiedenis van het model:
- Taakvoorstel: Het systeem stelt progressief moeilijkere taken voor die verder gaan dan wat het model al heeft opgelost. Dit legt tekortkomingen in de capaciteiten bloot en verschuift continu de grens van de training.
- Scaffold-generatie: Voor elke taak genereert of verfijnt het model een taakspecifieke scaffold. Dit omvat de instructies, tools, decompositiestrategie en de orchestratie die worden gebruikt om het probleem te benaderen.
- Solution Rollout: Op basis van de taak en de scaffold produceert de policy een solution rollout.
De beloning (reward) uit de rollout wordt teruggekoppeld naar alle drie de fasen. Hierdoor leert het systeem niet alleen betere oplossingen te produceren, maar ook nuttigere trainingstaken te genereren en effectievere scaffolds te bouwen. Dit creëert een gesloten lus waarbij sterkere policies leiden tot moeilijkere taken, wat weer leidt tot betere leer-signalen.
---
Technische Definitie van Beloningen (Rewards)
Taakbeloning (Task Reward)
Voor de opzet vraag → scaffold → rollout definiëren we de taakbeloning aan de hand van drie signalen: validiteit, frontier-moeilijkheid en nieuwheid.
Laat $q$ een gegenereerde vraag zijn, $s$ de bijbehorende scaffold, en $\{\taui\}{i=1}^{N}$ een set van solution rollouts. De taakbeloning $R_{\text{task}}$ wordt gedefinieerd als:
$$ R{\text{task}} = \underbrace{V(q,s)}{\text{Is het valide en verifieerbaar?}} \times \underbrace{D\!\left(q,s,\{\taui\}{i=1}^{N}\right)}{\text{Zit het op het juiste moeilijkheidsniveau?}} \times \underbrace{N(q)}{\text{Is het voldoende nieuw?}} $$
1. Validiteit en Verifieerbaarheid ($V$)
Een nuttige taak moet een goed gedefinieerde leeromgeving vormen. De vraag moet coherent en oplosbaar zijn, terwijl de scaffold correct moet worden uitgevoerd en kandidaat-oplossingen betrouwbaar moet kunnen evalueren.
We definiëren $V(q,s) \in [0,1]$. Validiteit fungeert als een harde poort: $$ V(q,s)=0 \quad\Rightarrow\quad R_{\text{task}}=0 $$ Dit voorkomt dat slecht gevormde taken of onbetrouwbare scaffolds beloond worden simpelweg omdat ze "moeilijk" lijken.
2. Frontier-moeilijkheid ($D$)
De meest nuttige taken zijn noch triviaal, noch onmogelijk. De moeilijkheid wordt geschat op basis van de rollouts van het model. We bepalen het empirische succespercentage $p$ over $N$ rollouts:
$$ p = \frac{1}{N} \sum{i=1}^{N} \mathbf{1}\!\left[s(q,\taui)=\text{succes}\right] $$
Taken waarvan het succespercentage dicht bij een doelniveau $p^*$ (gezet op 0,2) ligt, worden beloond:
$$ D(q,s,\{\tau_i\}) = \exp\!\left(-\frac{(p-p^*)^2}{2\sigma^2}\right) $$
3. Nieuwheid en Diversiteit ($N$)
Om te voorkomen dat het model telkens kleine variaties van dezelfde taken genereert, voegen we een nieuwheidsterm toe:
$$ N(q) = 1 - \max{qj \in \mathcal{B}} \operatorname{sim}(q,q_j) $$
waarbij $\mathcal{B}$ een buffer is van eerder gegenereerde of getrainde taken.
Harness- en Rollout-beloningen
De harness $h$ (de evaluatieomgeving) wordt beloond als deze is afgestemd op de taak, getrouw is aan de kwaliteit van de oplossing en resistent is tegen reward hacking:
$$ R{\text{harness}} = \underbrace{C(q,h)}{\text{Taak-afstemming}} \times \underbrace{F\!\left(h,\{\taui\}\right)}{\text{Beloningsgetrouwheid}} \times \underbrace{H(h)}_{\text{Hack-resistentie}} $$
Elke rollout $\tau_i$ wordt direct gescoord door de gegenereerde harness:
$$ R{\text{rollout}}(\taui) = \underbrace{h(q,\taui)}{\text{Taaksucces}} $$
Vraaggeneratie, harness-generatie en solution rollouts worden allemaal geoptimaliseerd met GRPO (Group Relative Policy Optimization), waardoor de drie fasen gezamenlijk kunnen verbeteren binnen dezelfde lus.
---
Benchmark Resultaten
Ornith-1.5-397B
| Benchmark | Ornith-1.5 (397B) | DeepSeek-V4-Flash (284B) | GLM-5.2 (753B) | Claude Opus 4.8 | Kimi K3 (2.8T) | Ornith-1.0 (397B) |
|---|---|---|---|---|---|---|
| Coding | ||||||
| Terminal Bench 2.1 (Terminus-2) | 86.1 | 82.7 | 81 | 85 | 88.3 | 77.5 |
| Terminal Bench 2.1 (Claude Code) | 85.2 | 81.8 | 82.7 | 78.9 | – | 78.2 |
| SWE-bench Verified | 86 | 81.6 | 83 | 85.8 | 86.2 | 82.4 |
| SWE-bench Pro | 65.1 | 64.4 | 62.1 | 68 | – | 62.2 |
| SWE-bench Multilingual | 79.6 | 77.9 | 78.4 | 75.7 | – | 78.9 |
| DeepSWE | 56 | 54.4 | 46.2 | 59 | 67.5 | 8 |
| Frontier-Bench v0.1 | 13.5 | 6.1 | 5.1 | 21.1 | 23 | 2.7 |
| NL2Repo | 59.5 | 54.2 | 48.9 | 69.7 | – | 48.2 |
| SWE Atlas – QnA | 55.6 | 51.6 | 50 | 59.7 | 59.7 | 41.2 |
| Reasoning | ||||||
| HLE (zonder tools) | 44.6 | 35 | 40.5 | 49.8 | 43.5 | 30.2 |
| HLE (met tools) | 56.1 | 50.8 | 54.7 | 57.9 | 56 | 47.5 |
| GPQA Diamond | 92.8 | 91.4 | 91.2 | 93.6 | 93.5 | 88.1 |
| Agentic | ||||||
| MCP-Atlas | 80 | 74.6 | 77.8 | 82.2 | 82.3 | 76.4 |
| Toolathlon-Verified | 71.2 | 70.3 | 48.2 | 76.2 | 73.2 | 43.2 |
| WideSearch | 80.8 | 77.3 | 79 | 72.9 | – | 75.2 |
| BrowseComp | 86.6 | 84.8 | 85.6 | 84.3 | 91.2 | 79.7 |
| ClawEval | 81.4 | 77.6 | 78.8 | 80.2 | – | 77.1 |
Ornith-1.5-35B
| Benchmark | Ornith-1.5-35B-A3B | Ornith-1.0-35B-A3B | Qwen 3.6-35B-A3B | Gemma-4-31B | Muse-Glimmer-30B | Qwen 3.5-397B |
|---|---|---|---|---|---|---|
| Coding | ||||||
| Terminal Bench 2.1 (Terminus-2) | 67.8 | 64.2 | 52.5 | 42.1 | 51.7 | 53.5 |
| Terminal Bench 2.1 (Claude Code) | 68.5 | 62.8 | 49.2 | – | – | 48.6 |
| SWE-bench Verified | 79 | 75.6 | 73.4 | 52 | 76 | 76.4 |
| SWE-bench Pro | 59.6 | 50.4 | 49.5 | 35.7 | 51.2 | 51.6 |
| SWE-bench Multilingual | 71.4 | 69.3 | 67.2 | 51.7 | – | 69.3 |
| DeepSWE | 22 | 0 | 0 | – | – | 1 |
| Frontier-Bench v0.1 | 5.1 | 1.4 | 1.4 | – | – | 1.4 |
| NL2Repo | 46.2 | 34.6 | 29.4 | 15.5 | – | 36.8 |
| SWE Atlas – QnA | 39.8 | 37.1 | 15.5 | – | – | 20.4 |
| Reasoning | ||||||
| HLE (zonder tools) | 25.6 | 20.8 | 21.4 | 19.5 | 22 | 28.7 |
| HLE (met tools) | 33.4 | 30.1 | 28.9 | 26.5 | – | 48.3 |
| GPQA Diamond | 89.2 | 86.2 | 86 | 84.3 | 83.5 | 88.4 |
| Agentic | ||||||
| MCP-Atlas | 70.2 | 64.4 | 62.8 | 55 | 75.5 | 72.3 |
| Toolathlon-Verified | 48.7 | 42.4 | 41.7 | 40.8 | – | 38.3 |
| WideSearch | 67.8 | 63.4 | 60.1 | 54.2 | – | 74 |
| BrowseComp | 67.6 | 63.5 | 62 | – | – | 78.6 |
| ClawEval | 72.5 | 69.8 | 68.7 | 48.5 | – | 70.7 |
Ornith-1.5-9B
| Benchmark | Ornith-1.5-9B | Ornith-1.0-9B | Qwen 3.5-9B | Qwen 3.6-35B-A3B | Gemma-4-31B |
|---|---|---|---|---|---|
| Coding | |||||
| Terminal Bench 2.1 (Terminus-2) | 46.2 | 43.1 | 21.3 | 52.5 | 42.1 |
| Terminal Bench 2.1 (Claude Code) | 47 | 40.6 | 18.9 | 49.2 | – |
| SWE-bench Verified | 70.6 | 69.4 | 53.2 | 73.4 | 52 |
| SWE-bench Pro | 47.5 | 42.9 | 31.3 | 49.5 | 35.7 |
| SWE-bench Multilingual | 54.4 | 52 | 39.7 | 67.2 | 51.7 |
| NL2Repo | 32.4 | 27.2 | 16.2 | 29.4 | 15.5 |
| SWE Atlas – QnA | 20.6 | 17.9 | 9.2 | 15.5 | – |
| Reasoning | |||||
| HLE (zonder tools) | 20.2 | 16.8 | 14.7 | 21.4 | 19.5 |
| HLE (met tools) | 30.5 | 26.4 | 24.5 | 28.9 | 26.5 |
| GPQA Diamond | 86.4 | 82.5 | 81.7 | 86 | 84.3 |
| Agentic | |||||
| MCP-Atlas | 54.2 | 49.4 | 46.8 | 62.8 | 55 |
| Toolathlon-Verified | 41.2 | 33.4 | 29.6 | 41.7 | 52.8 |
| WideSearch | 59.5 | 55.8 | 53.6 | 60.1 | 54.2 |
| BrowseComp | 56.4 | 44.8 | 41.5 | 62 | – |
| ClawEval | 66.5 | 63.1 | 53.2 | 68.7 | 48.5 |
---
Voetnoten en Evaluatiedetails
- Gemiddelden: Alle gerapporteerde resultaten voor Ornith-1.5 zijn gemiddelden over vijf onafhankelijke runs.
- Terminal-Bench 2.1 (Terminus-2): Geëvalueerd met het Harbor/Terminus-2 framework (parser=json, temp=1.0, top\_p=1.0, 128K context window). 4 uur timeout, 32 CPU-cores, 48GB RAM. Qwen chat template is aangepast voor consistentie.
- Terminal-Bench 2.1 (Claude Code): Geëvalueerd met Claude Code 2.1.126 (parser=json, temp=1.0, top\p=1.0, max\new\_tokens=131072).
- SWE-Bench (Verified, Pro, Multilingual): Gebruik van OpenHands harness (temp=1.0, top\_p=0.95, 256k context window). Anti-hacking maatregelen: Git-historie verwijderd en netwerktoegang uitgeschakeld.
- DeepSWE: Geëvalueerd met de Claude Code harness (temp=1.0, top\_p=0.95, 256K context window).
- SWE Atlas (QnA, RF, TW): Gebruik van mini SWE agent harness (temp=1.0, top\_p=0.95, 128K context window).
- NL2Repo: Temp=1.0, top\_p=1.0, 400K context, 48K output. Toegang tot specifieke GitHub repositories en pip-pakketten geblokkeerd.
- HLE: Geëvalueerd met Claude 4.6 Opus als judge model.
- MCP-Atlas: Modellen geëvalueerd in 'thinking mode' op de publieke subset van 500 taken, timeout van 10 minuten per taak. Claude 4.8 Opus gebruikt als judge model.
- Tool-Decathlon: Gebruik van officiële evaluatiedienst, max token limit 128K.
- ClawEval: Agentische code benchmark op basis van real-user task distributies; temp=0.6 en 256K context.
Groetjes,