Hoe je een robot traint

De schaalhypothese beschouwt de zegeningen van schaal als het geheim van AGI: intelligentie is 'slechts' simpele neurale eenheden en leeralgoritmen toegepast op diverse ervaringen op een (momenteel) onbereikbare schaal. Naarmate toenemende computationele middelen het mogelijk maken om dergelijke algoritmen op de nodige schaal uit te voeren, zullen de neurale netwerken steeds intelligenter worden.

Hetzelfde schreef de anonieme AI-onderzoeker Nostalgebraist in 2024: "het hele huidige landschap stamt uit het besef dat ML-modellen gestaag en voorspelbaar verbeteren naarmate je ze op meer data traint. En dat alles sindsdien bestaat uit het trainen van grotere modellen op grotere datasets, mogelijk gemaakt door jaren van snelle verbeteringen in hardware." Epoch AI stelde vast dat de omvang van trainingsdatasets voor AI-taalmodellen sinds het begin van de jaren 2010 ongeveer elke zes maanden is verdubbeld. De grootste AI-modellen van vandaag zijn getraind op tientallen biljoenen tokens.

Nu er steeds meer inspanningen worden geleverd om moderne AI toe te passen op robotica, is een belangrijke vraag: "waar komen de trainingsgegevens vandaan?" Taalmodellen konden worden getraind op enorme bestaande corpora van tekst. GPT-3 werd bijvoorbeeld getraind op ongeveer 300 miljard tokens aan data die van het internet zijn gescraped. In 2024 schatte Epoch AI dat de totale bestaande voorraad kwalitatieve, toegankelijke tekstdata rond de 300 biljoen tokens ligt. Er is echter geen equivalent voor goede, publieke robot-trainingsgegevens. Het uitzoeken waar de data voor robotica vandaan moet komen en hoeveel daarvan nodig is, is een kernprobleem voor het vakgebied geworden.

Wat zijn robot-trainingsgegevens?

Het trainen van een AI-model, of het nu een LLM is of een model voor het aansturen van robots, vereist fundamenteel zeer veel voorbeelden van iets dat correct wordt uitgevoerd (of voldoende kennis van hoe een correcte actie eruitziet, zodat een poging gescoord kan worden). Je voert een model een set inputs, vergelijkt de output van het model met de werkelijke, correcte output, en gebruikt het verschil tussen die twee om de parameters van het model aan te passen om dit verschil te verkleinen via een vorm van gradient descent.

Bij tekst kan een trainingsvoorbeeld simpelweg een bestaand tekstfragment zijn; je neemt het fragment, voert het model een deel ervan en laat het model voorspellen wat er volgt in de reeks. Eén tekstfragment kan dus veel trainingsvoorbeelden genereren door het model verschillende delen van de tekst te voeren.

Om een robot te trainen, is een voorbeeld doorgaans een registratie van een taak die wordt voltooid of geprobeerd. Er zijn verschillende methoden om deze opnames te maken en om te zetten in trainingsdata.

Teleoperatie

Een van de meest gebruikelijke methoden voor het maken van deze opnames is "teleoperatie". Bij teleoperatie bedient een persoon besturingselementen die direct verbonden zijn met een robot, en gebruikt deze om een robot door een specifieke taak te leiden (zoals een shirt opvouwen of objecten oppakken en verplaatsen).

Terwijl de persoon de taak uitvoert, worden gegevens van de status van de robot geregistreerd, samen met beelden van camera's die de taak vastleggen (vaak gemonteerd op de robot zelf). Deze worden gecombineerd tot een trainingsvoorbeeld. Een voorbeeld kan bestaan uit het voeren van data over de status van de robot en wat de camera's zien op een specifiek punt in de reeks aan het model. Het model probeert vervolgens te voorspellen wat de volgende robotacties zijn (bijvoorbeeld in de vorm van gewrichtshoeken) en vergelijkt dit met de werkelijke acties. Deze trainingsstrategie, waarbij voorbeelden worden gegenereerd door een expert (een mens) en het model wordt getraind om deze na te bootsen, staat bekend als behavioral cloning (gedragsclonering) en maakt deel uit van de bredere categorie "imitation learning" (imitatieleren).

Het grootste voordeel van deze methode is dat de gegenereerde data nauw aansluit bij de werkelijke bewegingsmogelijkheden van de robot, omdat het is geproduceerd door de feitelijke robot die je wilt trainen.

Teleoperatie heeft echter ook nadelen. De grootste is waarschijnlijk de kostprijs: om data te verkrijgen heb je een fysieke robot nodig, samen met een persoon die deze bedient, wat het lastig maakt om deze methode op te schalen naar zeer grote hoeveelheden data. Een ander nadeel is dat het voor een mens onhandig is om een robot op deze manier te besturen; ze krijgen vaak geen tactiele feedback van het object dat wordt gemanipuleerd, waardoor dit niet noodzakelijkerwijs zeer goede data oplevert voor behendige manipulatie.

Versterkend leren (Reinforcement Learning)

Het is ook mogelijk om trainingsdata te genereren met een bestaande robot door deze zelfstandig te laten bewegen, de acties te registreren en een systeem te gebruiken om deze gedragssequenties te categoriseren als succesvol of niet. Deze strategie, waarbij de robot autonoom beweegt en je de acties op een bepaalde manier scoort, staat bekend als "reinforcement learning" (versterkend leren). Google deed rond 2016 iets dergelijks met een "arm farm": een serie robotarmen die autonoom bewogen, waarbij het succes werd bepaald door of een arm een object oppakte of greep.

Hoewel dergelijke "arm farms" tegenwoordig minder worden gebruikt, zullen robots die in de echte wereld zijn ingezet waarschijnlijk uiteindelijk de grootste bron van trainingsdata worden. In de robotica spreekt men vaak over de noodzaak van een "data-vliegwiel" (data flywheel): robots worden in de echte wereld ingezet, de data hiervan wordt gebruikt om betere modellen te trainen, wat leidt tot meer robot-implementaties, wat weer leidt tot nog betere modellen, enzovoort.

Het robot-AI-bedrijf Physical Intelligence experimenteert bijvoorbeeld met dit proto-vliegwiel in een chocoladefabriek. Maar terwijl dit uiteindelijk zou kunnen werken, zijn er op dit moment zeer weinig AI-gestuurde robots die echt productief werk verrichten. Bovendien zijn real-world data vaak extreem repetitief, wat ze minder nuttig maakt voor training.

Simulatie

Een andere veelgebruikte strategie is simulatie: in plaats van een fysieke robot in de echte wereld te gebruiken, wordt een digitale robot in een gesimuleerde wereld gebruikt. Dit gebeurt vaak met reinforcement learning, waarbij de robot probeert te navigeren in een gesimuleerde ruimte en daarna wordt gescoord op de prestaties. Een andere variant is het teacher/student-paradigma, waarbij een "docent-model" volledige toegang heeft tot alle data in de gesimuleerde omgeving, en een "leerling-model" alleen kan zien wat een echte robot zou zien (beelden van camera's en interne status). Het doel is om de leerling het model van de docent te laten nabootsen.

De voordelen van simulatie zijn dat het veel goedkoper en sneller is dan het inzetten van een fysieke robot, en dat er enorme hoeveelheden data kunnen worden gegenereerd door het gedrag van duizenden robots tegelijk te simuleren. Figure AI leerde zijn humanoïde robot lopen via reinforcement learning op duizenden gesimuleerde robots. OpenAI leerde een robothand een Rubik's kubus op te lossen via het equivalent van 13.000 jaar aan gesimuleerde ervaring. Tegen 2019 had Waymo 10 miljoen mijl in de echte wereld gereden, maar 10 miljard mijl in simulaties.

De sim-to-real kloof en domeinrandomisatie

Het grootste nadeel van simulatie is dat de kwaliteit van de data afhangt van de nauwkeurigheid van de simulatie. Voor zaken als voortbeweging (locomotion) is simulatie vrij nauwkeurig, omdat dit gedrag digitaal goed kan worden gerepresenteerd. Echter, voor objectmanipulatie (vooral bij zachte of vervormbare objecten) is het veel moeilijker om een simulatie te bouwen die het werkelijke gedrag accuraat vastlegt. Dit wordt aangeduid als de "sim-to-real gap" (sim-to-real kloof).

Vanwege deze onnauwkeurigheden is "domeinrandomisatie" (domain randomization) een populaire techniek. Omdat men niet precies weet wat parameters zoals wrijving in de echte wereld zullen zijn, worden deze parameters in de simulatie willekeurig gevarieerd. De hoop is zo een trainingsbereik te creëren dat de parameters omvat die in de echte wereld worden aangetroffen.

Toen OpenAI zijn robothand trainde voor de Rubik's kubus, gebruikten ze Automatic Domain Randomization (ADR), die voortdurend progressief moeilijkere omgevingen in simulatie genereert. Ondanks 13.000 gesimuleerde jaren was de prestatie bij de moeilijkste beginposities slechts 20% succesvol, wat suggereert dat deze techniek voor manipulatie minder effectief is dan voor voortbeweging.

Synthetische gegevens

Een andere manier om simulatie te gebruiken is het creëren van synthetische trainingsdata: echte trainingsdata gebruiken als input om veel soortgelijke trainingsvoorbeelden te genereren. Nvidia gebruikt bijvoorbeeld het Isaac GR00T-platform om synthetische robot-trainingsdata te genereren op basis van teleoperatie-data.

Menselijke opnames en egocentrische video

Robot-trainingsdata kan ook worden gecreëerd door mensen te filmen terwijl ze taken uitvoeren en een mapping te maken van die data naar een robot. Dit kan zo simpel zijn als een hoofdcamera (egocentric video) die registreert hoe een persoon taken met de handen uitvoert. De video wordt vervolgens verwerkt zodat de bewegingen van de mens worden geïnterpreteerd als robotbewegingen. Dit is mede de reden voor de populariteit van de humanoïde vormfactor in de robotica. Figure AI heeft bijvoorbeeld het programma Index gelanceerd om data te verzamelen door mensen hoofdcamera's te sturen. Bedrijven als Shift doen iets soortgelijks.

Men kan ook extra sensoren toevoegen. De inmiddels opgeheven startup Eidon AI plaatste sensoren op armen om gewrichtsposities te verzamelen. Neocambrian AI kondigde onlangs "Mitts" aan: tactiele handschoenen die precisie-aanraakgegevens voor robots vastleggen.

Een andere variant is de Universal Manipulation Interface (UMI). Hierbij houdt een persoon een paar speciaal ontworpen manipulatoren vast met een simpele knijpgreep en camera's. De video hiervan wordt gebruikt om trainingsvoorbeelden te maken voor robots met soortgelijke manipulatoren. Startups als Generalist AI en Sunday Robotics maken hier voornamelijk gebruik van.

Het voordeel van menselijk verzamelde data is dat het veel goedkoper is dan teleoperatie en een grotere variëteit aan taken mogelijk maakt. Het nadeel is dat de data van een mens niet perfect overeenkomt met de mogelijkheden van een robot.

Hybride strategieën en andere bronnen

Het is mogelijk om meerdere strategieën in één model te combineren. De robot Digit van Agility Robotics loopt bijvoorbeeld via een klein neuraal netwerk van 1 miljoen parameters dat in simulatie is getraind met reinforcement learning, terwijl objectmanipulatie getraind lijkt te zijn via behavioral cloning. Dyna Robotics gebruikt een combinatie van reinforcement learning in simulatie en menselijke video.

Daarnaast wordt er gekeken naar andere data. Vision-Language-Action modellen zijn gebouwd op Vision-Language modellen getraind op tekst en beelden. Vanwege de overvloed aan video's op YouTube of TikTok is er veel interesse in het gebruik van generieke webvideo's. Nvidia's Cosmos is een fundamenteel model getraind op videodata dat als basis kan dienen voor een robot-beleidsmodel.

De omvang van robot-datasets

Hoeveel van deze actie-relevante trainingsdata is er tot nu toe verzameld, en hoeveel is er nodig?

Net als bij AI-modellen in het algemeen worden robot-trainingsdatasets steeds groter. Een vroeg voorbeeld van een grote dataset was de Open X-Embodiment (OXE) dataset van Google DeepMind uit 2023, bestaande uit meer dan 1 miljoen robot-actietrajecten over 160.000 verschillende taken (ongeveer 4.000 uur aan data). Het Pi 0-model van Physical Intelligence (oktober 2024) werd getraind op 10.000 uur aan data. Het GEN 1-model van Generalist AI werd getraind op ongeveer 500.000 uur UMI-data. Figure AI's Index-programma verzamelt inmiddels 43.000 uur aan video-data per dag. Dyna Robotics en Nature Will claimen dat hun nieuwste modellen zijn getraind op meer dan 1 miljoen uur aan menselijke egocentrische videodata.

Het is lastig om deze datasets te vergelijken met tekstdatasets voor LLM's. Robot-data varieert in kwaliteit en video-data is minder informatiedicht dan tekst; frames in een video zijn vaak zeer sterk gecorreleerd.

Een ruwe manier om de omvang te vergelijken is door te schatten hoe lang een mens erover zou doen om een tekstdataset te lezen. Volgens deze metriek werd GPT-2 getraind op het equivalent van 475.000 uur aan data, GPT-3 op 26 miljoen uur en GPT-4 op 685 miljoen uur. Dit suggereert dat zelfs oudere AI-modellen getraind zijn op ongeveer 1.000 keer meer data dan huidige robotmodellen. Ken Goldberg noemt dit de "100.000-year data gap".

Onderzoeker Chris Paxton maakt een andere schatting door robot-uren om te rekenen naar tokens. Hij gaat ervan uit dat bij video van 10 frames per seconde, elk frame gelijk staat aan één nuttig trainings-token. Met de aanname dat niet elke seconde nuttig is, komt hij uit op ongeveer 3.600 trainings-tokens per uur video. Dit zou betekenen dat de 1 miljoen uur van Dyna Robotics gelijkstaat aan ongeveer 3,6 miljard tokens, wat circa 5.000 keer kleiner is dan de datasets van recente AI-modellen.

Als we aannemen dat we 1.000 keer meer data nodig hebben dan we nu hebben (ongeveer 1 miljard uur), wat zou dat kosten? Eidon AI rapporteert prijzen van $60 tot $100 per uur. Pantheon rapporteert kosten voor UMI-data tussen $60 en $150 per uur, hoewel hun eigen pipeline data kan genereren voor $10 per uur. Shift betaalt tot $20 per uur voor egocentrische video. Een naïve schatting suggereert dat het verkrijgen van voldoende data om robotmodellen op hetzelfde niveau als recente AI-modellen te krijgen, tussen de $10 miljard en $100 miljard zou kunnen kosten.

Het is echter onduidelijk hoeveel data er daadwerkelijk nodig is. Als generalisatie niet vereist is, maar enkel specifieke taken, kan de behoefte veel lager liggen. Ook kan het zijn dat algemene AI-modellen zoals Fable of Astra zeer capabele robot-controllers worden na een relatief kleine hoeveelheid specifieke robot-trainingsdata.

Aan de andere kant kan het zijn dat het bewegen en manipuleren van objecten in de echte wereld fundamenteel moeilijker is dan het manipuleren van tekst. Een kleine spelfout in tekst is vaak geen probleem, maar bij objectmanipulatie kan een enkele kleine positioneringsfout het verschil zijn tussen succes en totale mislukking. Ken Goldberg betoogt bovendien dat robotbeweging een veel hoger-dimensionaal probleem is dan het genereren van tekst.

Conclusie

LLM's hebben de voordelen van schaal aangetoond bij het trainen van AI-modellen: grotere modellen, meer data en meer rekenkracht. We ontdekken nu in hoeverre deze schaalvergroting werkt voor robotica. Onderzoekers doen hun best om enorme hoeveelheden trainingsdata te verzamelen in de hoop dezelfde trends in robotcapaciteiten te zien als we bij AI in het algemeen hebben waargenomen.