Waymo geeft inzicht in de hardware-architectuur van de Waymo Driver, het computersysteem dat ruwe sensordata vertaalt naar rijcommando's. Het systeem is ontworpen op basis van drie kernvereisten:
- Responsiviteit: Ultra-lage latentie voor realtime besluitvorming.
- Robuustheid: Duurzaamheid tegen extreme temperaturen en trillingen, ondersteund door vloeistofkoeling.
- Redundantie: Twee onafhankelijke rekenmotoren om de veiligheid te garanderen bij uitval.
Een centraal onderdeel is de purpose-built 5nm ASIC, een gespecialiseerde chip die meer dan 1.000 TOPS aan ML-prestaties levert voor de verwerking van lidar-, radar- en camerastreams. Waymo hanteert een heterogene architectuur waarbij deze ASIC wordt gecombineerd met CPU's en GPU's van partners zoals NVIDIA, AMD en TSMC om een optimaal balans tussen efficiëntie en rekenkracht te bereiken.
Een blik onder de kofferbak: wat zit er in onze compute?
Compute is het brein van de Waymo Driver; het vertaalt ruwe sensordata naar rijcommando's in realtime. Om aantoonbaar veilige, fysieke AI op de weg te brengen, is een fundamentele verschuiving nodig naar een systeem dat is ontworpen voor deterministische prestaties met een lage latentie. In het afgelopen decennium hebben we onze hardware, sensoren en algoritmen zij aan zij ontwikkeld om de unieke beperkingen van real-world edge compute op te lossen. We geven hier een eerste blik onder onze kofferbak om onze aanpak van compute, onze aangepaste silicon en onze samenwerking met marktleiders te delen om het meest capabele computersysteem op de weg te bouwen.
Eisen aan computersystemen voor autonoom rijden
Computersystemen voor autonoom rijden verwerken zeer diverse workloads. Bij Waymo ontwerpen we een state-of-the-art systeem dat zelfs voor een datacenter indrukwekkend zou zijn, maar met de extra complexiteit van een operationeel domein in het voertuig en realtime-vereisten. In tegenstelling tot traditionele systemen voor rijassistentie handelt ons systeem de volledige taak van het rijden af zonder menselijke back-up, wat aanzienlijk hogere prestaties vereist. Gebaseerd op meer dan 200 miljoen mijlen volledig autonome ervaring, ontwerpen we onze compute rond drie ononderhandelbare vereisten:
- Responsief: Om in realtime beslissingen te nemen, werkt het autonome systeem volledig aan boord en verwerkt het constant beslissingen binnen milliseconden. We hebben onze stack ontwikkeld voor ultra-lage latentie, waardoor de vertraging van de eerste pixel tot de actie wordt geminimaliseerd. Binnen die kritieke milliseconden bouwen geavanceerde ML-modellen een high-fidelity begrip van de omgeving op om het veiligste pad voorwaarts te evalueren. Dit vereist een indrukwekkende ruwe rekenkracht — die we in slechts acht jaar tijd met 20x hebben geschaald — gecombineerd met een diep geoptimaliseerde softwarestack om deze efficiënt te benutten.
- Robuust: We hebben onze compute zo ontworpen dat deze in de fysieke wereld kan gedijen met een opmerkelijke duurzaamheid en betrouwbaarheid, van component- tot systeemniveau. Onze hardware werkt onder constante trillingen, schokken en extreme temperaturen. Door directe integratie met het vloeistofkoelsysteem van het voertuig behouden we piekprestaties, of we nu navigeren door vriezende winters in het Midwesten of de verzengende hitte van Phoenix.
- Redundant: Omdat er geen mens is om het over te nemen, zijn proactieve veiligheid en redundantie standaard ingebouwd. Onze compute is ontworpen als twee onafhankelijke motoren. Hoewel ze normaal gesproken als één eenheid werken die volledige parallelle workloads uitvoert, neemt de andere naadloos het over als één van beide een fout ervaart.
Door dynamische workloads over elk percentiel te optimaliseren, hebben we de "pixels-naar-actuatie"-latentie van de Waymo Driver aanzienlijk verlaagd. Dit geeft het systeem de snelle reflexen die nodig zijn om veilig te navigeren in complexe, dichtbevolkte omgevingen.
Architectuur en ontwerp
De overgang van standaardcomponenten naar aangepaste systemen vereiste een heroverweging van ons fysieke en architecturale ontwerp. Ons hooggeïntegreerde systeem levert enorme rekenkracht zonder de passagierservaring in gevaar te brengen, maximaliseert de batterij-efficiëntie terwijl er voldoende kofferruimte overblijft en werkt geluidloos.
We hebben een ML-primaire architectuur gebouwd om geavanceerde neurale netwerken met minimale latentie te draaien. Om kritieke niet-ML-taken zoals orchestratie, databeweging en logging te beheren, terwijl de tijd voor ML-berekeningen wordt gemaximaliseerd, combineren we onze ML-technologieën met de beste CPU's, GPU's en accelerators. Het resultaat is een gebalanceerd, heterogeen systeem.
De purpose-built 5nm ASIC
Om de enorme instroom van ruwe data te verwerken voordat deze ons centrale ML-brein bereikt, introduceren we onze purpose-built 5nm ASIC. Hoewel deze chip slechts één van de verschillende op maat gemaakte componenten is die we ontwikkelen, is het een gespecialiseerd ML-krachtstation dat exclusief is ontworpen om geavanceerde neurale netwerken op ruwe sensordata in realtime te verwerken, te fuseren en uit te voeren.
Het gelijktijdig ontwikkelen van silicon, sensoren en algoritmen stelt ons in staat om de grenzen te verleggen van sensor-fidelity, bandbreedte-efficiëntie en kwantisatie om een variëteit aan modellen uit te voeren, van sparse convolutions tot dense transformers.
De gespecialiseerde accelerators van de ASIC extraheren direct kritieke informatie uit ruwe lidar-, radar- en camerastreams, inclusief temporele ruisonderdrukking voor superieure waarneming bij weinig licht. Deze data wordt gevoed aan onze purpose-built inference engine om sensor-fusion ML-modellen te draaien, wat zorgt voor grotere efficiëntie zonder in te leveren op fidelity. Terwijl deze ASIC's alleen al meer dan 1.000 TOPS aan ML-prestaties leveren voor front-end verwerking en ML-modellen, optimaliseren we over de volledige stack om de behaalde prestaties te maximaliseren, vooral in de low-batch regimes waarin we vaak opereren.
Door aangepaste silicon samen met onze sensoren en algoritmen te ontwerpen, bereiken we een ongekende efficiëntie en prestatie. Ons nieuwste systeem verwerkt high-fidelity data van 13 hoge-resolutie camera's simultaan en in realtime, wat resulteert in uitzonderlijke waarneming bij weinig licht en het onthullen van kritieke omgevingsdetails die traditionele camera's missen.
Partnerschappen
Naast onze inspanningen voor aangepaste silicon werken we nauw samen met marktleiders wier wereldklasse computeroplossingen de krachtige basis bieden die nodig is om onze technologie efficiënt te schalen. We zijn trots op onze samenwerking met partners zoals AMD, Micron, NVIDIA, Samsung, Sandisk, Socionext en TSMC om het meest capabele autonome computersysteem te leveren.
Dit is slechts een glimp van wat er nog komt. Terwijl we nieuwe use-cases verkennen voor de Waymo Driver en onze AI-stack blijft evolueren, zal de vraag naar zeer efficiënte, hoogwaardige compute alleen maar groeien.
Een blik onder de kofferbak: wat zit er in onze compute?
Compute is het brein van de Waymo Driver; het vertaalt ruwe sensordata naar rijcommando's in realtime. Om aantoonbaar veilige, fysieke AI op de weg te brengen, is een fundamentele verschuiving nodig naar een systeem dat is ontworpen voor deterministische prestaties met een lage latentie. In het afgelopen decennium hebben we onze hardware, sensoren en algoritmen zij aan zij ontwikkeld om de unieke beperkingen van real-world edge compute op te lossen. We geven hier een eerste blik onder onze kofferbak om onze aanpak van compute, onze aangepaste silicon en onze samenwerking met marktleiders te delen om het meest capabele computersysteem op de weg te bouwen.
Eisen aan computersystemen voor autonoom rijden
Computersystemen voor autonoom rijden verwerken zeer diverse workloads. Bij Waymo ontwerpen we een state-of-the-art systeem dat zelfs voor een datacenter indrukwekkend zou zijn, maar met de extra complexiteit van een operationeel domein in het voertuig en realtime-vereisten. In tegenstelling tot traditionele systemen voor rijassistentie handelt ons systeem de volledige taak van het rijden af zonder menselijke back-up, wat aanzienlijk hogere prestaties vereist. Gebaseerd op meer dan 200 miljoen mijlen volledig autonome ervaring, ontwerpen we onze compute rond drie ononderhandelbare vereisten:
- Responsief: Om in realtime beslissingen te nemen, werkt het autonome systeem volledig aan boord en verwerkt het constant beslissingen binnen milliseconden. We hebben onze stack ontwikkeld voor ultra-lage latentie, waardoor de vertraging van de eerste pixel tot de actie wordt geminimaliseerd. Binnen die kritieke milliseconden bouwen geavanceerde ML-modellen een high-fidelity begrip van de omgeving op om het veiligste pad voorwaarts te evalueren. Dit vereist een indrukwekkende ruwe rekenkracht — die we in slechts acht jaar tijd met 20x hebben geschaald — gecombineerd met een diep geoptimaliseerde softwarestack om deze efficiënt te benutten.
- Robuust: We hebben onze compute zo ontworpen dat deze in de fysieke wereld kan gedijen met een opmerkelijke duurzaamheid en betrouwbaarheid, van component- tot systeemniveau. Onze hardware werkt onder constante trillingen, schokken en extreme temperaturen. Door directe integratie met het vloeistofkoelsysteem van het voertuig behouden we piekprestaties, of we nu navigeren door vriezende winters in het Midwesten of de verzengende hitte van Phoenix.
- Redundant: Omdat er geen mens is om het over te nemen, zijn proactieve veiligheid en redundantie standaard ingebouwd. Onze compute is ontworpen als twee onafhankelijke motoren. Hoewel ze normaal gesproken als één eenheid werken die volledige parallelle workloads uitvoert, neemt de andere naadloos het over als één van beide een fout ervaart.
Door dynamische workloads over elk percentiel te optimaliseren, hebben we de "pixels-naar-actuatie"-latentie van de Waymo Driver aanzienlijk verlaagd. Dit geeft het systeem de snelle reflexen die nodig zijn om veilig te navigeren in complexe, dichtbevolkte omgevingen.
Architectuur en ontwerp
De overgang van standaardcomponenten naar aangepaste systemen vereiste een heroverweging van ons fysieke en architecturale ontwerp. Ons hooggeïntegreerde systeem levert enorme rekenkracht zonder de passagierservaring in gevaar te brengen, maximaliseert de batterij-efficiëntie terwijl er voldoende kofferruimte overblijft en werkt geluidloos.
We hebben een ML-primaire architectuur gebouwd om geavanceerde neurale netwerken met minimale latentie te draaien. Om kritieke niet-ML-taken zoals orchestratie, databeweging en logging te beheren, terwijl de tijd voor ML-berekeningen wordt gemaximaliseerd, combineren we onze ML-technologieën met de beste CPU's, GPU's en accelerators. Het resultaat is een gebalanceerd, heterogeen systeem.
De purpose-built 5nm ASIC
Om de enorme instroom van ruwe data te verwerken voordat deze ons centrale ML-brein bereikt, introduceren we onze purpose-built 5nm ASIC. Hoewel deze chip slechts één van de verschillende op maat gemaakte componenten is die we ontwikkelen, is het een gespecialiseerd ML-krachtstation dat exclusief is ontworpen om geavanceerde neurale netwerken op ruwe sensordata in realtime te verwerken, te fuseren en uit te voeren.
Het gelijktijdig ontwikkelen van silicon, sensoren en algoritmen stelt ons in staat om de grenzen te verleggen van sensor-fidelity, bandbreedte-efficiëntie en kwantisatie om een variëteit aan modellen uit te voeren, van sparse convolutions tot dense transformers.
De gespecialiseerde accelerators van de ASIC extraheren direct kritieke informatie uit ruwe lidar-, radar- en camerastreams, inclusief temporele ruisonderdrukking voor superieure waarneming bij weinig licht. Deze data wordt gevoed aan onze purpose-built inference engine om sensor-fusion ML-modellen te draaien, wat zorgt voor grotere efficiëntie zonder in te leveren op fidelity. Terwijl deze ASIC's alleen al meer dan 1.000 TOPS aan ML-prestaties leveren voor front-end verwerking en ML-modellen, optimaliseren we over de volledige stack om de behaalde prestaties te maximaliseren, vooral in de low-batch regimes waarin we vaak opereren.
Door aangepaste silicon samen met onze sensoren en algoritmen te ontwerpen, bereiken we een ongekende efficiëntie en prestatie. Ons nieuwste systeem verwerkt high-fidelity data van 13 hoge-resolutie camera's simultaan en in realtime, wat resulteert in uitzonderlijke waarneming bij weinig licht en het onthullen van kritieke omgevingsdetails die traditionele camera's missen.
Partnerschappen
Naast onze inspanningen voor aangepaste silicon werken we nauw samen met marktleiders wier wereldklasse computeroplossingen de krachtige basis bieden die nodig is om onze technologie efficiënt te schalen. We zijn trots op onze samenwerking met partners zoals AMD, Micron, NVIDIA, Samsung, Sandisk, Socionext en TSMC om het meest capabele autonome computersysteem te leveren.
Dit is slechts een glimp van wat er nog komt. Terwijl we nieuwe use-cases verkennen voor de Waymo Driver en onze AI-stack blijft evolueren, zal de vraag naar zeer efficiënte, hoogwaardige compute alleen maar groeien.
Groetjes,