MIT-ingenieurs hebben, in samenwerking met Sumitomo Heavy Industries, de World-Space Interface (WSI) ontwikkeld om het trainen van graafmachine-operators te versnellen. In plaats van traditionele joysticks, die een complexe 'mentale mapping' vereisen, gebruikt het systeem een miniatuurarm die de bewegingen van de machine direct nabootst.
Uit onderzoek blijkt dat beginners die de WSI gebruiken vanaf het begin net zo effectief zijn als experts. Naast training biedt dit systeem mogelijkheden voor tele-operation, waardoor operators machines op afstand kunnen besturen in onveilige omgevingen. Het team werkt momenteel aan de integratie van haptische feedback, zodat operators de fysieke weerstand van materialen kunnen voelen.
MIT-ingenieurs ontwerpen betere besturing voor graafmachines
“Dit is een intuïtievere manier om de machine aan te sturen,” zegt Hermano Krebs. Krebs ziet de interface als een snellere manier om graafmachine-operators op te leiden, evenals een nieuwe manier om de machines fysiek te bedienen, zowel op locatie als op afstand.
Iedereen die wel eens heeft geworsteld met een grijpmachine in een speelhal, kan de moeilijkheid begrijpen van het trekken en duwen van joysticks, precies op de juiste manier, om een mechanische arm dat ene speciale speeltje te laten oppakken. Het coördineren van de joysticks en het verbinden van hun beweging met de beweging van de grijper is een type "mentale mapping" die niet onmiddellijk intuïtief is. (En dat is precies waar arcade-eigenaren op vertrouwen om spelers steeds opnieuw terug te laten komen).
In feite zijn de mechanieken van een grijpmachine breed vergelijkbaar met het besturen van een graafmachine: een operator gebruikt joysticks om de giek, arm en bak van de graafmachine en de richting van de cabine te bedienen. Maar de manoeuvres van een graafmachine zijn veel complexer dan alles wat een arcade-grijper kan doen. Operators moeten complexere mentale kaarten leren om een graafmachine te sturen voor het verplaatsen van rotsen, het egaliseren van grond, het ruimen van puin en het graven van funderingen, naast andere essentiële taken op de bouwplaats. Inderdaad, het kan vaak jaren duren voordat operators expertise hebben opgebouwd in het manoeuvreren van deze zware machines.
MIT-ingenieurs proberen de leercurve voor graafmachine-operators te verkorten met een nieuwe trainingsinterface. In plaats van joysticks te gebruiken, heeft het team een intuïtievere controller ontworpen die zelf lijkt op de arm en bak van een miniatuur-graafmachine. Trainees pakken het apparaat vast en gebruiken hun arm en hand om het te laten bewegen zoals een graafmachine dat doet. Een digitale graafmachine, geprojecteerd op een immersief scherm met zes schermen, spiegelt de bewegingen van de trainee in een virtuele omgeving.
“Dit is een intuïtievere manier om de machine aan te sturen,” zegt Hermano Krebs, principal research scientist bij de afdeling Mechanical Engineering van MIT. “Met deze nieuwe interface kunnen we veel van de mentale kaarten elimineren die een operator zou moeten opbouwen om een graafmachine te bedienen.”
Krebs ziet de interface als een snellere manier om graafmachine-operators op te leiden, evenals een nieuwe manier om de machines fysiek te bedienen, zowel op locatie als op afstand.
“In plaats van joysticks zou je deze miniatuurarm aan de zijkant kunnen hebben, waar de operator zijn eigen arm plaatst, een beetje als een exoskelet, waardoor ze de graafmachine in de cabine kunnen bedienen,” zegt Krebs. “Als er werk moet worden gedaan in een moeilijke of onveilige omgeving, zou een operator in een trailer buiten de locatie kunnen zitten en deze arm kunnen gebruiken om de graafmachine op afstand te bedienen (tele-operation).”
Het team rapporteert deze week de open-access resultaten in het Journal of Computing and Civil Engineering. De MIT-co-auteurs zijn Moises Alencastre-Miranda, Joao Buzzatto en Eran Beeri Bamani, samen met medewerkers van Sumitomo Heavy Industries, een fabrikant van industriële machines gevestigd in Japan.
Een machine-nabootsing
Bij MIT werkt de groep van Krebs aan mens-robotinteracties, met een langdurige focus op fysieke rehabilitatie. Door dit werk heeft het team kennis opgedaan over de manieren waarop mensen hun ledematen besturen en hoe ze op de meest intuïtieve manier met machines kunnen communiceren.
In 2018 ging Krebs een samenwerking aan met onderzoekers van Sumitomo Heavy Industries, die zochten naar een snellere manier om graafmachine-operators op te leiden. Zij merkten op dat in Japan de populatie van zware machine-operators snel vergrijst; het opleiden van hun vervangers kost veel tijd.
Operators leren gewoonlijk door daadwerkelijk graafmachines te besturen op een gecontroleerde rijbaan. Terwijl ze de machine bedienen, moeten beginners leren de acties van de joysticks van de graafmachine te relateren aan de bewegingen van de arm, bak en cabine. Het coördineren van deze acties om daadwerkelijke taken uit te voeren voegt een extra niveau van complexiteit toe dat maanden tot jaren kan duren om te beheersen.
Het team redeneerde dat als ze de noodzaak voor deze mentale kaart konden wegnemen, ze het trainingsproces aanzienlijk konden verkorten. Om dit te doen zochten ze naar een natuurlijkere manier om de machine te besturen als alternatief voor de traditionele joysticks. Ze kwamen al snel uit op het ontwerp van de mechanische arm, met de redenering dat de fysieke gelijkenis met de arm en bak van de graafmachine operators in staat zou stellen de bewegingen van de graafmachine direct na te bootsen en te besturen, zonder veel mentale vertaling.
In de loop van de volgende jaren werkten de onderzoekers aan de bouw van de mechanische arm, samen met de software om de bewegingen ervan te koppelen aan een virtuele simulatie van een graafmachine. De combinatie van de mechanische arm en de virtuele simulator vormt een nieuw trainings- en besturingsplatform voor graafmachine-operators, dat het team de “World-Space Interface” heeft genoemd.
“‘World-space’ verwijst naar alles in de wereld dat buiten jezelf is, of in dit geval, buiten de cabine van de graafmachine,” legt Krebs uit. “Normaal gesproken moeten operators een mentale kaart opbouwen van hoe ze dingen in de world-space kunnen manipuleren. Maar nu kunnen we simpelweg het oppakken van stenen of aarde nabootsen, en de computer doet die vertaling naar de world-space voor ons.”
Constructie vanaf dag één
Voor hun nieuwe studie voerden de onderzoekers trainingsexperimenten uit met vrijwilligers die gebruikmaakten van de World-Space Interface (WSI) en een traditionelere, op joysticks gebaseerde graafmachine-simulator. De onderzoekers ontwikkelden virtuele simulaties van 15 realistische graafomgevingen, waaronder:
- bouwplaatsen;
- snelwegen;
- boswegen;
- rivieroevers;
- mijnbouwgebieden;
- stedelijke en landelijke omgevingen.
Elke virtuele omgeving was gekoppeld aan verschillende graafwerkzaamheden, zoals:
- het scheppen en storten van zand of grind;
- het graven en egaliseren van geulen;
- het ruimen van puin van wegen;
- het verwijderen van boomtakken van waterkanten;
- het breken van rotsen.
Het team ontwierp het experiment om te lijken op de taken die een operator gewoonlijk uitvoert tijdens een week durende graafmachinecursus. Gedurende zeven dagen, één uur per dag, bedienden vrijwilligers — zowel experts als beginners — de WSI en het joystick-equivalent, waarbij ze trainden op taken met een toenemende moeilijkheidsgraad.
De onderzoekers vergeleken vervolgens de prestaties van de vrijwilligers voor en na de trainingsperiode. Voor de joystick-simulator stelden ze vast dat beginners consistent slechter presteerden dan experts, hoewel ze gedurende de trainingsperiode wel verbeterden. In vergelijking hiermee ontdekte het team dat beginners met de nieuwe World-Space Interface vanaf het begin net zo goed waren als experts.
“In dit geval zijn joysticks een niet-intuïtieve manier om de machine te besturen en te coördineren,” zegt co-auteur van de studie en MIT-postdoc Joao Buzzatto. “Dit is de eerste interface die niet vereist dat ik de graafmachine met joysticks aanstuur.”
Het team werkt nu aan het toevoegen van haptiek, ofwel gevoel, aan de fysieke arm van de WSI. Het idee is dat wanneer een operator de arm gebruikt om een actie na te bootsen, zoals het oppakken van een stapel stenen, de arm een tegenkracht genereert. Hierdoor kan de operator de zwaarte van de stenen voelen, als bevestiging dat de graafmachine ze daadwerkelijk oppakt.
“Haptiek zou dit een nog intuïtiever systeem maken,” zegt co-auteur en visiting engineer Solmon Jeong.
Het team stelt dat de nieuwe trainingsinterface een natuurlijker alternatief kan zijn voor de graafmachine-simulatoren die de bouwsector momenteel onderzoekt. Bedrijven zoals Caterpillar, Hyundai en Komatsu ontwikkelen virtuele simulatoren, zowel om operators te helpen trainen voordat ze op locatie gaan, als om graafmachines in de toekomst op afstand te kunnen besturen. Deze simulatoren zijn echter grotendeels gebaseerd op traditionele joystick-controllers die nog steeds tijd kosten om te leren.
De onderzoekers voorzien dat als hun nieuwe arm-en-bak-controller zou worden geïntegreerd — als een uitbreiding in een graafmachinecabine of in een virtuele, tele-operationele simulator — zelfs operators die voor het eerst een machine bedienen, vanaf dag één aan het werk kunnen.
Dit onderzoek werd mede ondersteund door Sumitomo Heavy Industries.
***
Publicatie: Paper: “A Comprehensive Training Platform for Excavator Operators: Training with Joint-Space and World-Space Interfaces in Virtual Environments”
MIT-ingenieurs ontwerpen betere besturing voor graafmachines
“Dit is een intuïtievere manier om de machine aan te sturen,” zegt Hermano Krebs. Krebs ziet de interface als een snellere manier om graafmachine-operators op te leiden, evenals een nieuwe manier om de machines fysiek te bedienen, zowel op locatie als op afstand.
Iedereen die wel eens heeft geworsteld met een grijpmachine in een speelhal, kan de moeilijkheid begrijpen van het trekken en duwen van joysticks, precies op de juiste manier, om een mechanische arm dat ene speciale speeltje te laten oppakken. Het coördineren van de joysticks en het verbinden van hun beweging met de beweging van de grijper is een type "mentale mapping" die niet onmiddellijk intuïtief is. (En dat is precies waar arcade-eigenaren op vertrouwen om spelers steeds opnieuw terug te laten komen).
In feite zijn de mechanieken van een grijpmachine breed vergelijkbaar met het besturen van een graafmachine: een operator gebruikt joysticks om de giek, arm en bak van de graafmachine en de richting van de cabine te bedienen. Maar de manoeuvres van een graafmachine zijn veel complexer dan alles wat een arcade-grijper kan doen. Operators moeten complexere mentale kaarten leren om een graafmachine te sturen voor het verplaatsen van rotsen, het egaliseren van grond, het ruimen van puin en het graven van funderingen, naast andere essentiële taken op de bouwplaats. Inderdaad, het kan vaak jaren duren voordat operators expertise hebben opgebouwd in het manoeuvreren van deze zware machines.
MIT-ingenieurs proberen de leercurve voor graafmachine-operators te verkorten met een nieuwe trainingsinterface. In plaats van joysticks te gebruiken, heeft het team een intuïtievere controller ontworpen die zelf lijkt op de arm en bak van een miniatuur-graafmachine. Trainees pakken het apparaat vast en gebruiken hun arm en hand om het te laten bewegen zoals een graafmachine dat doet. Een digitale graafmachine, geprojecteerd op een immersief scherm met zes schermen, spiegelt de bewegingen van de trainee in een virtuele omgeving.
“Dit is een intuïtievere manier om de machine aan te sturen,” zegt Hermano Krebs, principal research scientist bij de afdeling Mechanical Engineering van MIT. “Met deze nieuwe interface kunnen we veel van de mentale kaarten elimineren die een operator zou moeten opbouwen om een graafmachine te bedienen.”
Krebs ziet de interface als een snellere manier om graafmachine-operators op te leiden, evenals een nieuwe manier om de machines fysiek te bedienen, zowel op locatie als op afstand.
“In plaats van joysticks zou je deze miniatuurarm aan de zijkant kunnen hebben, waar de operator zijn eigen arm plaatst, een beetje als een exoskelet, waardoor ze de graafmachine in de cabine kunnen bedienen,” zegt Krebs. “Als er werk moet worden gedaan in een moeilijke of onveilige omgeving, zou een operator in een trailer buiten de locatie kunnen zitten en deze arm kunnen gebruiken om de graafmachine op afstand te bedienen (tele-operation).”
Het team rapporteert deze week de open-access resultaten in het Journal of Computing and Civil Engineering. De MIT-co-auteurs zijn Moises Alencastre-Miranda, Joao Buzzatto en Eran Beeri Bamani, samen met medewerkers van Sumitomo Heavy Industries, een fabrikant van industriële machines gevestigd in Japan.
Een machine-nabootsing
Bij MIT werkt de groep van Krebs aan mens-robotinteracties, met een langdurige focus op fysieke rehabilitatie. Door dit werk heeft het team kennis opgedaan over de manieren waarop mensen hun ledematen besturen en hoe ze op de meest intuïtieve manier met machines kunnen communiceren.
In 2018 ging Krebs een samenwerking aan met onderzoekers van Sumitomo Heavy Industries, die zochten naar een snellere manier om graafmachine-operators op te leiden. Zij merkten op dat in Japan de populatie van zware machine-operators snel vergrijst; het opleiden van hun vervangers kost veel tijd.
Operators leren gewoonlijk door daadwerkelijk graafmachines te besturen op een gecontroleerde rijbaan. Terwijl ze de machine bedienen, moeten beginners leren de acties van de joysticks van de graafmachine te relateren aan de bewegingen van de arm, bak en cabine. Het coördineren van deze acties om daadwerkelijke taken uit te voeren voegt een extra niveau van complexiteit toe dat maanden tot jaren kan duren om te beheersen.
Het team redeneerde dat als ze de noodzaak voor deze mentale kaart konden wegnemen, ze het trainingsproces aanzienlijk konden verkorten. Om dit te doen zochten ze naar een natuurlijkere manier om de machine te besturen als alternatief voor de traditionele joysticks. Ze kwamen al snel uit op het ontwerp van de mechanische arm, met de redenering dat de fysieke gelijkenis met de arm en bak van de graafmachine operators in staat zou stellen de bewegingen van de graafmachine direct na te bootsen en te besturen, zonder veel mentale vertaling.
In de loop van de volgende jaren werkten de onderzoekers aan de bouw van de mechanische arm, samen met de software om de bewegingen ervan te koppelen aan een virtuele simulatie van een graafmachine. De combinatie van de mechanische arm en de virtuele simulator vormt een nieuw trainings- en besturingsplatform voor graafmachine-operators, dat het team de “World-Space Interface” heeft genoemd.
“‘World-space’ verwijst naar alles in de wereld dat buiten jezelf is, of in dit geval, buiten de cabine van de graafmachine,” legt Krebs uit. “Normaal gesproken moeten operators een mentale kaart opbouwen van hoe ze dingen in de world-space kunnen manipuleren. Maar nu kunnen we simpelweg het oppakken van stenen of aarde nabootsen, en de computer doet die vertaling naar de world-space voor ons.”
Constructie vanaf dag één
Voor hun nieuwe studie voerden de onderzoekers trainingsexperimenten uit met vrijwilligers die gebruikmaakten van de World-Space Interface (WSI) en een traditionelere, op joysticks gebaseerde graafmachine-simulator. De onderzoekers ontwikkelden virtuele simulaties van 15 realistische graafomgevingen, waaronder:
- bouwplaatsen;
- snelwegen;
- boswegen;
- rivieroevers;
- mijnbouwgebieden;
- stedelijke en landelijke omgevingen.
Elke virtuele omgeving was gekoppeld aan verschillende graafwerkzaamheden, zoals:
- het scheppen en storten van zand of grind;
- het graven en egaliseren van geulen;
- het ruimen van puin van wegen;
- het verwijderen van boomtakken van waterkanten;
- het breken van rotsen.
Het team ontwierp het experiment om te lijken op de taken die een operator gewoonlijk uitvoert tijdens een week durende graafmachinecursus. Gedurende zeven dagen, één uur per dag, bedienden vrijwilligers — zowel experts als beginners — de WSI en het joystick-equivalent, waarbij ze trainden op taken met een toenemende moeilijkheidsgraad.
De onderzoekers vergeleken vervolgens de prestaties van de vrijwilligers voor en na de trainingsperiode. Voor de joystick-simulator stelden ze vast dat beginners consistent slechter presteerden dan experts, hoewel ze gedurende de trainingsperiode wel verbeterden. In vergelijking hiermee ontdekte het team dat beginners met de nieuwe World-Space Interface vanaf het begin net zo goed waren als experts.
“In dit geval zijn joysticks een niet-intuïtieve manier om de machine te besturen en te coördineren,” zegt co-auteur van de studie en MIT-postdoc Joao Buzzatto. “Dit is de eerste interface die niet vereist dat ik de graafmachine met joysticks aanstuur.”
Het team werkt nu aan het toevoegen van haptiek, ofwel gevoel, aan de fysieke arm van de WSI. Het idee is dat wanneer een operator de arm gebruikt om een actie na te bootsen, zoals het oppakken van een stapel stenen, de arm een tegenkracht genereert. Hierdoor kan de operator de zwaarte van de stenen voelen, als bevestiging dat de graafmachine ze daadwerkelijk oppakt.
“Haptiek zou dit een nog intuïtiever systeem maken,” zegt co-auteur en visiting engineer Solmon Jeong.
Het team stelt dat de nieuwe trainingsinterface een natuurlijker alternatief kan zijn voor de graafmachine-simulatoren die de bouwsector momenteel onderzoekt. Bedrijven zoals Caterpillar, Hyundai en Komatsu ontwikkelen virtuele simulatoren, zowel om operators te helpen trainen voordat ze op locatie gaan, als om graafmachines in de toekomst op afstand te kunnen besturen. Deze simulatoren zijn echter grotendeels gebaseerd op traditionele joystick-controllers die nog steeds tijd kosten om te leren.
De onderzoekers voorzien dat als hun nieuwe arm-en-bak-controller zou worden geïntegreerd — als een uitbreiding in een graafmachinecabine of in een virtuele, tele-operationele simulator — zelfs operators die voor het eerst een machine bedienen, vanaf dag één aan het werk kunnen.
Dit onderzoek werd mede ondersteund door Sumitomo Heavy Industries.
***
Publicatie: Paper: “A Comprehensive Training Platform for Excavator Operators: Training with Joint-Space and World-Space Interfaces in Virtual Environments”
Groetjes,