Het artikel beschrijft een experiment waarbij het Qwen3-4B-model is getraind met Reinforcement Learning (RL) om een gesimuleerde vliegende Tesla Roadster te besturen. De focus ligt op het uitvoeren van complexe stunts, zoals de 'ramp flip' en 'kickflip', onder verschillende windomstandigheden.
Belangrijkste bevindingen:
- Real-time beperkingen: Grote modellen zoals GPT-6 Astra en DeepSeek V4.1 Flash falen in real-time scenario's omdat hun latentie (1-6 seconden) veel te hoog is voor de benodigde reactietijd van 0,2 seconden.
- Efficiëntie van RL: Door een 'warm start' (imitatie-leren) te combineren met GRPO (Group Relative Policy Optimization), kon het kleine 4B-model in real-time 90% van de kickflips in stormomstandigheden landen.
- Prestaties: Het getrainde 4B-model presteert zelfs beter dan grotere modellen die onbeperkte denktijd krijgen, wat aantoont dat trainingsmethode en snelheid belangrijker zijn dan modelgrootte voor specifieke controle-taken.
De training werd uitgevoerd via SkyPilot en kostte ongeveer 13 dollar aan GPU-uren, wat de toegankelijkheid van gespecialiseerde RL-post-training benadrukt.
Post-training van een 4B-model met RL om de Tesla Roadster 21% beter te besturen dan GPT-6 Astra
We hebben Qwen3-4B getraind met Reinforcement Learning (RL) om een gesimuleerde Tesla Roadster te besturen. In stormomstandigheden verslaat dit model DeepSeek, Muse, Beam, Nemotron en GPT-6 Astra, zelfs wanneer deze laatste modellen onbeperkte denktijd krijgen.
Inleiding
Vorige week donderdag (15 oktober) reed de nieuwe Roadster van Tesla van een helling die zo kromde dat de auto ondersteboven kwam te staan, in de lucht weer rechtop draaide en landde. Vervolgens gebruikte de auto stuwraketten om over een Cybertruck te springen. Het blijkt dat de toekomst inderdaad vliegende auto's kent.
De demo was al twee weken uitgesteld "vanwege harde wind" (Elon Musk op X). Dat riep bij ons de vraag op: hoe zou de auto presteren in die wind met een taalmodel in de cockpit?
We hebben een RL-omgeving gebouwd rond een physics-simulator van een vliegende Roadster om dit uit te zoeken. We gaven de besturing uit handen aan diverse LLM's en zetten de wind open. We testten enkele van de nieuwste topmodellen: DeepSeek V4.1 Flash, Meta's Muse Spark Open, Reflection's Beam 1.0, NVIDIA's Nemotron 3.5 Super VL, TypeSafe's Jev 1.14 en zelfs OpenAI's GPT-6 Astra.
Wanneer er in real-time beslissingen werden gevraagd, crashten deze modellen bijna elke vlucht: de meeste hebben 1 tot 6 seconden nodig om te antwoorden, terwijl de auto elke 0,2 seconde een nieuwe actie nodig heeft. Zelfs wanneer we de wereld pauzeerden zodat de modellen onbeperkt konden nadenken, verloren ze nog steeds van een 4B-model dat wij met RL hadden getraind voor stormomstandigheden.
Samenvatting (TL;DR)
We hebben een RL-omgeving gebouwd rond een physics-simulator van een vliegende Roadster met vier luchtstuwraketten, windvlagen en de twee stunts uit de onthulling: een ramp flip en een kickflip over een Cybertruck. Een LLM bestuurt de auto met één commando per 0,2 seconde, terwijl de auto blijft bewegen.
- Real-time prestaties: De nieuwste open modellen kunnen dit niet in real-time. DeepSeek V4.1 Flash, Nemotron 3.5 Super, Muse Spark Open en Beam 1.0 hebben 1 tot 6 seconden per beslissing nodig en landen 0% van de kickflips en 3% of minder van de ramp flips. GPT-6 Astra landt in real-time eveneers 0%.
- RL Post-training: RL-training maakte van een 4B-model onze beste piloot. Qwen3-4B, getraind voor ongeveer $13, antwoordt in 0,09 seconden en landt 90% van de kickflips in real-time.
- Onbeperkte denktijd: Wanneer de wereld wordt gepauzeerd, landt het beste open model (DeepSeek V4.1 Flash) 87%, terwijl andere open modellen tussen de 58% en 62% scoren. Zelfs GPT-6 Astra landt slechts 74%.
---
De RL-omgeving voor de vliegende Tesla Roadster
Technische specificaties
De auto is een rigide lichaam van 4,5 meter lang en 2.000 kg (droog gewicht), gesimuleerd op 500 Hz. De lift wordt gegenereerd door vier koudgas-stuwraketten op de hoeken van de vloer van de auto. Elke stuwraket levert 12 kN, gevoed door één tank samengeperste lucht (110 tot 170 kg per vlucht).
- Besturing: Als het linkerpaar harder vuurt, rolt de auto; als het voorste paar harder vuurt, pitcht de auto.
- Uitdaging: Wanneer de auto ondersteboven staat, duwen dezelfde stuwraketten de auto richting de grond, wat beide stunts bemoeilijkt.
Wind en aerodynamica
Een auto is gebouwd om met de neus eerst te bewegen. Wanneer hij plat valt of de wind van opzij komt, is het oppervlak vijf tot negen keer groter, waardoor de wind veel meer invloed heeft. Dicht bij de weg is de wind zwakker, met extra windvlagen bovenop het gemiddelde. Elke vlucht heeft een gemiddelde wind uit een willekeurige richting in een van de drie categorieën:
- Licht: tot 14 m/s
- Stormkracht (Gale): 14 tot 24 m/s
- Storm: 24 tot 33 m/s
Crash-regels
Een vlucht wordt als een crash beschouwd in de volgende scenario's:
| Onderdeel | Crash bij een daling sneller dan |
|---|
| Wielen | 9 m/s (ongeveer een val van 4 m) |
| Vloer | 3 m/s (ongeveer een val van 0,5 m) |
| Dak of zijkanten | Elke snelheid |
| Elk deel van de auto raakt de Cybertruck | Elke snelheid |
De stunts
- Ramp flip: De auto verlaat een helling ondersteboven op 10 tot 14 meter hoogte, moet rechtop draaien en landen.
- Kickflip: De auto komt aan met 50 tot 94 km/u, vliegt over een geparkeerde Cybertruck, maakt een volledige rotatie van 360 graden en landt.
Een vlucht is alleen succesvol als de auto op alle vier de wielen landt op de 14 meter brede weg, binnen ongeveer 20 graden van horizontaal, niet meer draait en zonder te crashen.
---
Interactie: Wat het model ziet en terugstuurt
Aan het begin van elke vlucht krijgt het model een briefing over de auto, de crash-regels, de vijf beschikbare commando's en de specifieke taak. Vervolgens ontvangt het model elke 0,2 seconde een regel telemetrie en reageert het met een JSON-object.
Voorbeeld van een antwoord van het getrainde Qwen 4B-model: {"mode": "rotate", "axis": "roll", "to": 360.0, "lift": 1.0}
De vijf beschikbare commando's
coast: Alle stuwraketten uit.climb: Blijf horizontaal op een opgegeven verticale snelheid.hold: Houd een opgegeven roll- en pitch-hoek vast.rotate: Draai om één as naar een totale hoek, met afremming om daarop te stoppen.land: Maak het voertuig horizontaal en daal zachtjes af.
Latentie en timing
De auto stopt niet terwijl het model nadenkt. Als een model 2 seconden nodig heeft om te antwoorden, vliegt de auto tien intervallen van 0,2 seconde verder op het oude commando. Om oordeelsvorming te scheiden van snelheid, testen we modellen ook in een gepauzeerde modus (onbeperkte denktijd).
Beloningssysteem (Reward)
Voor RL loopt de beloning van 0 tot 1. Er is gedeeltelijke credit voor hoogte, het passeren van de truck, rotatie en de kwaliteit van de landing.
- Succesvolle landing: +0,4
- Schone finish (zacht, met lucht over, gecentreerd op de weg): +0,1
---
Prestaties van huidige open modellen
We testten diverse modellen in stormomstandigheden. Een handgeschreven piloot (een script met if-then regels) dient als baseline.
Resultaten met onbeperkte denktijd
Wanneer de simulator wacht op het antwoord, presteren de open modellen goed bij de kickflip in lichte wind. DeepSeek V4.1 Flash landt 98%, terwijl Muse, Nemotron en Beam tussen de 72% en 82% scoren. In een storm daalt dit naar 87% voor DeepSeek en 58-62% voor de anderen. GPT-6 Astra landt 74% van de storm-kickflips.
Resultaten in real-time
Met een lopende klok landen alle vier de open modellen 0% van de kickflips. Hun mediane beslissingstijd is 1 tot 6 seconden, waardoor commando's veel te laat aankomen. GPT-6 Astra landt eveneers geen enkele van de 768 stormvluchten in real-time.
Ramp flip resultaten (aandeel landingen):
| Model | Lichte wind | Stormkracht | Storm |
|---|
| Qwen3-4B, ongetraind (real-time) | 100% | 99% | 85% |
| Muse Spark Open (onbeperkt) | 97% | 92% | 88% |
| DeepSeek V4.1 Flash (onbeperkt) | 82% | 78% | 79% |
| DeepSeek V4.1 Flash (real-time) | 1% | 2% | 3% |
Het ongetrainde Qwen3-4B is snel genoeg voor de klok (0,07 s), maar kan zonder training geen enkele kickflip landen.
---
Post-training van de Qwen3-4B piloot
We gebruikten Qwen3-4B-Instruct-2507 met een rank-64 LoRA. De training werd uitgevoerd met de open-source RL-bibliotheek SkyRL en kostte ongeveer 4 GPU-uren (~$13).
Trainingsproces
Het proces bestond uit twee fasen:
- Warm start (2u 20m): Supervised fine-tuning op vluchten die succesvol landden. Dit omvatte 64 gescripte vluchten in lichte wind en 350 vluchten in stormkracht/storm die DeepSeek V4.1 Flash (met gepauzeerde simulator) had geland.
- RL (1u 35m): Gebruik van GRPO (Group Relative Policy Optimization). Het model voert dezelfde taak meerdere keren uit en wordt gestuurd richting de pogingen die het groepsgemiddelde verslaan.
Waarom alleen RL niet werkte
Een eerste poging met alleen RL faalde bij de kickflip. Het model begon direct met rollen terwijl de wielen nog op de weg stonden, waardoor de auto op zijn dak belandde. Omdat alle pogingen in een groep op dezelfde manier crashten, had GRPO geen referentiepunt om van te leren. De "warm start" loste dit op door het model eerst te laten imiteren hoe een succesvolle start eruitziet.
---
Analyse van de resultaten
Kickflip prestaties (Testset)
| Piloot | Lichte wind | Stormkracht | Storm |
|---|
| Gescripte piloot (handgeschreven) | 98% | 83% | 61% |
| DeepSeek V4.1 Flash (real-time) | 0% | 0% | 0% |
| DeepSeek V4.1 Flash (onbeperkt) | 98% | 90% | 87% |
| Qwen3-4B (na imitatie alleen) | 97% | 93% | 84% |
| Qwen3-4B (na imitatie + RL, real-time) | 96% | 96% | 90% |
Het getrainde 4B-model antwoordt in 0,09 s en is daarmee consistent binnen het 0,2 s interval. In stormomstandigheden verslaat het model DeepSeek (met onbeperkte denktijd) en is het significant beter dan GPT-6 Astra (90% vs 74% bij storm-kickflips).
De invloed van wind
Hoe sterker de wind, hoe groter het voordeel van het 4B-model. Waar de gescripte piloot keldert van 98% naar 61% bij storm, blijft het getrainde 4B-model stabiel tussen de 96% en 90%.
---
Geleerde lessen
- Simulators moeten realistische scenario's bevatten: Veel LLM-benchmarks geven modellen onbeperkt de tijd om te antwoorden. In toepassingen zoals voertuigen of voice-agents is de beslissingstijd echter een integraal onderdeel van de score.
- Efficiëntie vs. Grootte: DeepSeek V4.1 Flash versloeg grotere modellen terwijl het minder parameters per token gebruikte. De beste piloot was echter nog kleiner: een dense 4B-model na RL. Voor specifieke taken is de trainingsmethode belangrijker dan het aantal actieve parameters.
- RL overstijgt leraren: Door imitatie (warm start) bereikte het 4B-model het niveau van zijn leraren. Door vervolgens RL toe te passen op het werkelijke doel, kon het model de leraren passeren in scenario's waar zij zwak waren (zoals zware storm).
- GRPO vereist diversiteit: GRPO leert door samples binnen een groep te vergelijken. Als alle pogingen op dezelfde manier falen, leert het model niets. Een warm start is essentieel om ervoor te zorgen dat pogingen verschillen op het moment van de kritieke beslissing.
---
Beperkingen en context
Dit experiment zegt niets over het besturen van een echte auto. Een echt systeem zou een conventionele controller gebruiken. In de robotica worden vaak hiërarchische systemen gebruikt (bijv. een groot model voor strategie en een klein, snel model op 200 Hz voor motorische commando's).
In dit project hebben we de tijdsgevoelige beslissing (wanneer te beginnen met rollen) bewust bij het taalmodel gelaten om te testen of een LLM deze call in real-time kan maken.
---
Gebruik van SkyPilot voor RL-training
De training werd beheerd via SkyPilot Job Groups. Een RL-run voert drie processen parallel uit op verschillende hardware:
- Trainer: Voert GRPO uit op een H100 en schrijft LoRA-gewichten naar een gedeeld volume.
- Inference Server: Draait vLLM op een andere H100 en genereert rollouts.
- Eval Watcher: Start evaluaties voor elk nieuw checkpoint op aparte GPU's.
Dit systeem zorgt ervoor dat training, rollouts en evaluaties side-by-side draaien, wat de iteratiesnelheid aanzienlijk verhoogt.
Post-training van een 4B-model met RL om de Tesla Roadster 21% beter te besturen dan GPT-6 Astra
We hebben Qwen3-4B getraind met Reinforcement Learning (RL) om een gesimuleerde Tesla Roadster te besturen. In stormomstandigheden verslaat dit model DeepSeek, Muse, Beam, Nemotron en GPT-6 Astra, zelfs wanneer deze laatste modellen onbeperkte denktijd krijgen.
Inleiding
Vorige week donderdag (15 oktober) reed de nieuwe Roadster van Tesla van een helling die zo kromde dat de auto ondersteboven kwam te staan, in de lucht weer rechtop draaide en landde. Vervolgens gebruikte de auto stuwraketten om over een Cybertruck te springen. Het blijkt dat de toekomst inderdaad vliegende auto's kent.
De demo was al twee weken uitgesteld "vanwege harde wind" (Elon Musk op X). Dat riep bij ons de vraag op: hoe zou de auto presteren in die wind met een taalmodel in de cockpit?
We hebben een RL-omgeving gebouwd rond een physics-simulator van een vliegende Roadster om dit uit te zoeken. We gaven de besturing uit handen aan diverse LLM's en zetten de wind open. We testten enkele van de nieuwste topmodellen: DeepSeek V4.1 Flash, Meta's Muse Spark Open, Reflection's Beam 1.0, NVIDIA's Nemotron 3.5 Super VL, TypeSafe's Jev 1.14 en zelfs OpenAI's GPT-6 Astra.
Wanneer er in real-time beslissingen werden gevraagd, crashten deze modellen bijna elke vlucht: de meeste hebben 1 tot 6 seconden nodig om te antwoorden, terwijl de auto elke 0,2 seconde een nieuwe actie nodig heeft. Zelfs wanneer we de wereld pauzeerden zodat de modellen onbeperkt konden nadenken, verloren ze nog steeds van een 4B-model dat wij met RL hadden getraind voor stormomstandigheden.
Samenvatting (TL;DR)
We hebben een RL-omgeving gebouwd rond een physics-simulator van een vliegende Roadster met vier luchtstuwraketten, windvlagen en de twee stunts uit de onthulling: een ramp flip en een kickflip over een Cybertruck. Een LLM bestuurt de auto met één commando per 0,2 seconde, terwijl de auto blijft bewegen.
- Real-time prestaties: De nieuwste open modellen kunnen dit niet in real-time. DeepSeek V4.1 Flash, Nemotron 3.5 Super, Muse Spark Open en Beam 1.0 hebben 1 tot 6 seconden per beslissing nodig en landen 0% van de kickflips en 3% of minder van de ramp flips. GPT-6 Astra landt in real-time eveneers 0%.
- RL Post-training: RL-training maakte van een 4B-model onze beste piloot. Qwen3-4B, getraind voor ongeveer $13, antwoordt in 0,09 seconden en landt 90% van de kickflips in real-time.
- Onbeperkte denktijd: Wanneer de wereld wordt gepauzeerd, landt het beste open model (DeepSeek V4.1 Flash) 87%, terwijl andere open modellen tussen de 58% en 62% scoren. Zelfs GPT-6 Astra landt slechts 74%.
---
De RL-omgeving voor de vliegende Tesla Roadster
Technische specificaties
De auto is een rigide lichaam van 4,5 meter lang en 2.000 kg (droog gewicht), gesimuleerd op 500 Hz. De lift wordt gegenereerd door vier koudgas-stuwraketten op de hoeken van de vloer van de auto. Elke stuwraket levert 12 kN, gevoed door één tank samengeperste lucht (110 tot 170 kg per vlucht).
- Besturing: Als het linkerpaar harder vuurt, rolt de auto; als het voorste paar harder vuurt, pitcht de auto.
- Uitdaging: Wanneer de auto ondersteboven staat, duwen dezelfde stuwraketten de auto richting de grond, wat beide stunts bemoeilijkt.
Wind en aerodynamica
Een auto is gebouwd om met de neus eerst te bewegen. Wanneer hij plat valt of de wind van opzij komt, is het oppervlak vijf tot negen keer groter, waardoor de wind veel meer invloed heeft. Dicht bij de weg is de wind zwakker, met extra windvlagen bovenop het gemiddelde. Elke vlucht heeft een gemiddelde wind uit een willekeurige richting in een van de drie categorieën:
- Licht: tot 14 m/s
- Stormkracht (Gale): 14 tot 24 m/s
- Storm: 24 tot 33 m/s
Crash-regels
Een vlucht wordt als een crash beschouwd in de volgende scenario's:
| Onderdeel | Crash bij een daling sneller dan |
|---|
| Wielen | 9 m/s (ongeveer een val van 4 m) |
| Vloer | 3 m/s (ongeveer een val van 0,5 m) |
| Dak of zijkanten | Elke snelheid |
| Elk deel van de auto raakt de Cybertruck | Elke snelheid |
De stunts
- Ramp flip: De auto verlaat een helling ondersteboven op 10 tot 14 meter hoogte, moet rechtop draaien en landen.
- Kickflip: De auto komt aan met 50 tot 94 km/u, vliegt over een geparkeerde Cybertruck, maakt een volledige rotatie van 360 graden en landt.
Een vlucht is alleen succesvol als de auto op alle vier de wielen landt op de 14 meter brede weg, binnen ongeveer 20 graden van horizontaal, niet meer draait en zonder te crashen.
---
Interactie: Wat het model ziet en terugstuurt
Aan het begin van elke vlucht krijgt het model een briefing over de auto, de crash-regels, de vijf beschikbare commando's en de specifieke taak. Vervolgens ontvangt het model elke 0,2 seconde een regel telemetrie en reageert het met een JSON-object.
Voorbeeld van een antwoord van het getrainde Qwen 4B-model: {"mode": "rotate", "axis": "roll", "to": 360.0, "lift": 1.0}
De vijf beschikbare commando's
coast: Alle stuwraketten uit.climb: Blijf horizontaal op een opgegeven verticale snelheid.hold: Houd een opgegeven roll- en pitch-hoek vast.rotate: Draai om één as naar een totale hoek, met afremming om daarop te stoppen.land: Maak het voertuig horizontaal en daal zachtjes af.
Latentie en timing
De auto stopt niet terwijl het model nadenkt. Als een model 2 seconden nodig heeft om te antwoorden, vliegt de auto tien intervallen van 0,2 seconde verder op het oude commando. Om oordeelsvorming te scheiden van snelheid, testen we modellen ook in een gepauzeerde modus (onbeperkte denktijd).
Beloningssysteem (Reward)
Voor RL loopt de beloning van 0 tot 1. Er is gedeeltelijke credit voor hoogte, het passeren van de truck, rotatie en de kwaliteit van de landing.
- Succesvolle landing: +0,4
- Schone finish (zacht, met lucht over, gecentreerd op de weg): +0,1
---
Prestaties van huidige open modellen
We testten diverse modellen in stormomstandigheden. Een handgeschreven piloot (een script met if-then regels) dient als baseline.
Resultaten met onbeperkte denktijd
Wanneer de simulator wacht op het antwoord, presteren de open modellen goed bij de kickflip in lichte wind. DeepSeek V4.1 Flash landt 98%, terwijl Muse, Nemotron en Beam tussen de 72% en 82% scoren. In een storm daalt dit naar 87% voor DeepSeek en 58-62% voor de anderen. GPT-6 Astra landt 74% van de storm-kickflips.
Resultaten in real-time
Met een lopende klok landen alle vier de open modellen 0% van de kickflips. Hun mediane beslissingstijd is 1 tot 6 seconden, waardoor commando's veel te laat aankomen. GPT-6 Astra landt eveneers geen enkele van de 768 stormvluchten in real-time.
Ramp flip resultaten (aandeel landingen):
| Model | Lichte wind | Stormkracht | Storm |
|---|
| Qwen3-4B, ongetraind (real-time) | 100% | 99% | 85% |
| Muse Spark Open (onbeperkt) | 97% | 92% | 88% |
| DeepSeek V4.1 Flash (onbeperkt) | 82% | 78% | 79% |
| DeepSeek V4.1 Flash (real-time) | 1% | 2% | 3% |
Het ongetrainde Qwen3-4B is snel genoeg voor de klok (0,07 s), maar kan zonder training geen enkele kickflip landen.
---
Post-training van de Qwen3-4B piloot
We gebruikten Qwen3-4B-Instruct-2507 met een rank-64 LoRA. De training werd uitgevoerd met de open-source RL-bibliotheek SkyRL en kostte ongeveer 4 GPU-uren (~$13).
Trainingsproces
Het proces bestond uit twee fasen:
- Warm start (2u 20m): Supervised fine-tuning op vluchten die succesvol landden. Dit omvatte 64 gescripte vluchten in lichte wind en 350 vluchten in stormkracht/storm die DeepSeek V4.1 Flash (met gepauzeerde simulator) had geland.
- RL (1u 35m): Gebruik van GRPO (Group Relative Policy Optimization). Het model voert dezelfde taak meerdere keren uit en wordt gestuurd richting de pogingen die het groepsgemiddelde verslaan.
Waarom alleen RL niet werkte
Een eerste poging met alleen RL faalde bij de kickflip. Het model begon direct met rollen terwijl de wielen nog op de weg stonden, waardoor de auto op zijn dak belandde. Omdat alle pogingen in een groep op dezelfde manier crashten, had GRPO geen referentiepunt om van te leren. De "warm start" loste dit op door het model eerst te laten imiteren hoe een succesvolle start eruitziet.
---
Analyse van de resultaten
Kickflip prestaties (Testset)
| Piloot | Lichte wind | Stormkracht | Storm |
|---|
| Gescripte piloot (handgeschreven) | 98% | 83% | 61% |
| DeepSeek V4.1 Flash (real-time) | 0% | 0% | 0% |
| DeepSeek V4.1 Flash (onbeperkt) | 98% | 90% | 87% |
| Qwen3-4B (na imitatie alleen) | 97% | 93% | 84% |
| Qwen3-4B (na imitatie + RL, real-time) | 96% | 96% | 90% |
Het getrainde 4B-model antwoordt in 0,09 s en is daarmee consistent binnen het 0,2 s interval. In stormomstandigheden verslaat het model DeepSeek (met onbeperkte denktijd) en is het significant beter dan GPT-6 Astra (90% vs 74% bij storm-kickflips).
De invloed van wind
Hoe sterker de wind, hoe groter het voordeel van het 4B-model. Waar de gescripte piloot keldert van 98% naar 61% bij storm, blijft het getrainde 4B-model stabiel tussen de 96% en 90%.
---
Geleerde lessen
- Simulators moeten realistische scenario's bevatten: Veel LLM-benchmarks geven modellen onbeperkt de tijd om te antwoorden. In toepassingen zoals voertuigen of voice-agents is de beslissingstijd echter een integraal onderdeel van de score.
- Efficiëntie vs. Grootte: DeepSeek V4.1 Flash versloeg grotere modellen terwijl het minder parameters per token gebruikte. De beste piloot was echter nog kleiner: een dense 4B-model na RL. Voor specifieke taken is de trainingsmethode belangrijker dan het aantal actieve parameters.
- RL overstijgt leraren: Door imitatie (warm start) bereikte het 4B-model het niveau van zijn leraren. Door vervolgens RL toe te passen op het werkelijke doel, kon het model de leraren passeren in scenario's waar zij zwak waren (zoals zware storm).
- GRPO vereist diversiteit: GRPO leert door samples binnen een groep te vergelijken. Als alle pogingen op dezelfde manier falen, leert het model niets. Een warm start is essentieel om ervoor te zorgen dat pogingen verschillen op het moment van de kritieke beslissing.
---
Beperkingen en context
Dit experiment zegt niets over het besturen van een echte auto. Een echt systeem zou een conventionele controller gebruiken. In de robotica worden vaak hiërarchische systemen gebruikt (bijv. een groot model voor strategie en een klein, snel model op 200 Hz voor motorische commando's).
In dit project hebben we de tijdsgevoelige beslissing (wanneer te beginnen met rollen) bewust bij het taalmodel gelaten om te testen of een LLM deze call in real-time kan maken.
---
Gebruik van SkyPilot voor RL-training
De training werd beheerd via SkyPilot Job Groups. Een RL-run voert drie processen parallel uit op verschillende hardware:
- Trainer: Voert GRPO uit op een H100 en schrijft LoRA-gewichten naar een gedeeld volume.
- Inference Server: Draait vLLM op een andere H100 en genereert rollouts.
- Eval Watcher: Start evaluaties voor elk nieuw checkpoint op aparte GPU's.
Dit systeem zorgt ervoor dat training, rollouts en evaluaties side-by-side draaien, wat de iteratiesnelheid aanzienlijk verhoogt.
Groetjes,