Dessa is een baanbrekend speech-to-speech AI-model dat volledig is getraind op menselijke conversaties zonder gebruik te maken van tekst of vooraf getrainde modellen. In tegenstelling tot traditionele spraak-AI, die spraak eerst omzet in tekst, verwerkt Dessa audio direct, waardoor emoties, sarcasme, pauzes en natuurlijke ritmes behouden blijven.
Belangrijkste kenmerken:
- Full-duplex: Het model kan gelijktijdig luisteren en spreken, waardoor het natuurlijk kan inbreken in gesprekken.
- Efficiëntie: Het heeft taal geleerd van aanzienlijk minder woorden dan traditionele Large Language Models (LLM's).
- Hardware: De inference kan lokaal draaien op een MacBook Pro M4 Max of krachtiger.
Het project is ontwikkeld door een AI-onderzoekslab bij Block. De drijfveren achter de ontwikkeling waren nieuwsgierigheid naar menselijk taalverwerving, de wens voor een natuurlijker interface en het verbeteren van de AI-veiligheid door emoties beter te kunnen herkennen.
Dessa: Het gespreksmodel dat uitsluitend op spraak is getraind
Wij geloven dat spraak de meest natuurlijke manier is om met intelligentie te communiceren. Daarom hebben we Dessa ontwikkeld, het meest authentieke full-duplex spraakmodel dat ooit is gebouwd. Een gesprek met Dessa voelt als een gesprek met een mens: vol emotie, nuance, pauzes en een natuurlijk ritme.
Interactie met huidige spraak-AI kan frustrerend zijn. Deze systemen zetten spraak om in tekst, waardoor een enorme hoeveelheid informatie verloren gaat die tekst alleen niet kan overbrengen. De krachtigste AI's ter wereld kunnen simpelweg niet horen hoe je je voelt. Wij vinden dat onlogisch; het leidt tot een slechtere ervaring en is potentieel gevaarlijk.
Dessa is vanaf nul getraind op niets anders dan menselijke conversaties. Alleen geluid; geen tekst en geen vooraf getrainde modellen. Het model heeft geleerd om een realtime gesprek te voeren puur door te luisteren. Voor zover we weten is Dessa de eerste AI ter wereld waarmee je een realistisch live gesprek kunt voeren die uitsluitend op basis van menselijke spraak is getraind.
Dessa verlegt de grenzen van deep learning-modellen en creëert een nieuwe categorie met interessante gedragingen voor onderzoekers. Hierbij rijst de vraag hoe efficiënt dergelijke modellen taal en feiten leren in vergelijking met tekstmodellen, hoe effectief ze nieuwe talen kunnen leren en welk soort in-context learning ze kunnen uitvoeren.
Voorbeelden van interacties
De volgende scenario's zijn gebaseerd op live opnames van mensen die met Dessa praten. De AI bepaalt zelf wat er gezegd wordt, wanneer dit gebeurt en hoe, inclusief de eigen stem en persoonlijkheid.
- Gesprek over de release: Dessa lacht op het moment dat er iets grappigs gebeurt, midden in een zin, precies zoals mensen dat doen. Waar andere modellen wachten tot je klaar bent om vervolgens op commando te lachen, reageert Dessa spontaan. Als je vraagt om harder te praten, gaat het volume omhoog, zonder dat dit expliciet is aangeleerd.
- Een film herinneren: Wanneer een persoon de titel van een film vergeet, maakt Dessa de zin af. Het model beschikt over een verrassende hoeveelheid kennis, wetende dat alle feiten uit ruwe audio zijn afgeleid.
- Een jubileumverrassing: Bij een verrassing slaakt Dessa een zachte "oh mijn god" en antwoordt met een stem die klinkt als emotionele dankbaarheid.
- Expressieve conversatie: Het model vertoont een enorm bereik in intonatie en snelheid.
- Levensadvies: In deze interactie klinkt Dessa oprecht empathisch.
- Conversatie met GPT-Live-1: Een demonstratie waarin Dessa spreekt met GPT-Live-1, een AI-model van een derde partij. Beide stemmen zijn AI-gegenereerd.
Wat is Dessa precies?
Dessa is een echt speech-to-speech model: audio gaat erin en audio komt eruit. Alles wat het model weet, is afgeleid van menselijke spraak. Het is full-duplex, wat betekent dat het tegelijkertijd luistert en praat, net als een mens. Omdat het heeft geleerd van echte gesprekken, weet het wanneer het moet inbreken en wanneer het bevestigingsgeluiden moet maken (zoals "ja!", "begrepen!", "ooh") om te laten zien dat het betrokken is. De inference draait sneller dan realtime, waardoor er geen ongemakkelijke wachttijden zijn. Het model kan lokaal draaien op een MacBook Pro M4 Max of krachtiger.
Dessa hoort en spreekt van nature emotie, sarcasme, gelach, een gefrustreerde zucht of een stem die breekt van verdriet. Wanneer spraak via tekst wordt verwerkt, verdwijnen deze nuances, wat verklaart waarom veel spraak-AI houterig, traag en irritant aanvoelt.
Efficiëntie en complexiteit
LLM's (Large Language Models) hebben een enorme hoeveelheid tekst nodig. Dessa heeft taal geleerd van honderden malen minder woorden (hoewel LLM's ook zaken als C++ en Angular moeten leren).
Daarnaast moest Dessa veel meer leren dan alleen taal: accenten, pauzes, ademhaling, sarcasme, humor, buiging en emotie. Al deze elementen veranderen de betekenis van een uitspraak. Neem bijvoorbeeld de zin: "Ik zei niet dat zij mijn CUDA-code stal." Afhankelijk van op welk woord de nadruk ligt, verandert de betekenis volledig.
Spraak herhaalt zich nooit exact; zelfs als je een zin twee keer op dezelfde manier uitspreekt, is de data anders. Tekst is daarentegen altijd identiek. Bovendien neemt één gesproken woord duizenden malen meer bytes in beslag dan hetzelfde woord in tekst. Voor een machine zonder tekstuele ondersteuning is dit een enorme uitdaging, maar we hebben een oplossing gevonden om Dessa te trainen op slechts één NVIDIA GB200 NVL72.
Waarom dit project?
Er zijn drie hoofdredenen voor de ontwikkeling van Dessa:
- Nieuwsgierigheid: Baby's leren praten zonder ooit een geschreven woord te zien. We wilden onderzoeken of een model dat ook kon.
- Betere interactie: Spraak is de meest natuurlijke interface voor intelligentie, maar huidige voice-AI verspilt dit door alles plat te slaan tot tekst en menselijke timing niet bij te kunnen houden.
- Veiligheid: AI wordt steeds krachtiger, maar is nog steeds nagenoeg doof voor emoties. Een AI die niet doorheeft dat iemand in ernstige pijn is en simpelweg doorgaat met praten, vormt een veiligheidsprobleem. Dessa is een stap richting de oplossing hiervan.
Over het team
We zijn een klein AI-onderzoekslab bij Block, opgericht door voormalige leden van Dessa, de deep learning startup uit Toronto. We bouwen deep learning-modellen sinds 2012 en generatieve spraakmodellen al meer dan acht jaar. We richten ons op grensverleggende problemen die anderen negeren en rapporteren direct aan Jack Dorsey, medeoprichter en voorzitter van Block.
Oproep aan veiligheidsonderzoekers
Een model dat uitsluitend uit geluid heeft geleerd te praten, is nieuw terrein. We nodigen een kleine groep AI-veiligheidsonderzoekers uit om vroegtijdig toegang te krijgen tot het model om risico's te identificeren die wij mogelijk over het hoofd hebben gezien.
Teamleden
Onderzoekers
- Louay Hazami
- Hashiam Kadhim
- Qi (Alex) Liu
- Rayhane Mama
- Aydin Polat
- Marc Tyndel
Interns
- Cara Ji
- Jibran Iqbal Shah
- Dvir Zagury-Grynbaum
Voormalige interns
Aanvullende audio-voorbeelden
- Artist Dessa
- Bathroom disaster
- Hobbies talk
- Lazy AI gaming
- Marvel gaming
- Noisy GPT live (Conversatie met GPT-Live-1)
- Oh my god
- Poor Elina
- Refund
- Ronaldo
- Safety lab
- Singing nonsense Spanish
- Spontaneous AI
- Wise Dessa
- Zelda discussions
Dessa: Het gespreksmodel dat uitsluitend op spraak is getraind
Wij geloven dat spraak de meest natuurlijke manier is om met intelligentie te communiceren. Daarom hebben we Dessa ontwikkeld, het meest authentieke full-duplex spraakmodel dat ooit is gebouwd. Een gesprek met Dessa voelt als een gesprek met een mens: vol emotie, nuance, pauzes en een natuurlijk ritme.
Interactie met huidige spraak-AI kan frustrerend zijn. Deze systemen zetten spraak om in tekst, waardoor een enorme hoeveelheid informatie verloren gaat die tekst alleen niet kan overbrengen. De krachtigste AI's ter wereld kunnen simpelweg niet horen hoe je je voelt. Wij vinden dat onlogisch; het leidt tot een slechtere ervaring en is potentieel gevaarlijk.
Dessa is vanaf nul getraind op niets anders dan menselijke conversaties. Alleen geluid; geen tekst en geen vooraf getrainde modellen. Het model heeft geleerd om een realtime gesprek te voeren puur door te luisteren. Voor zover we weten is Dessa de eerste AI ter wereld waarmee je een realistisch live gesprek kunt voeren die uitsluitend op basis van menselijke spraak is getraind.
Dessa verlegt de grenzen van deep learning-modellen en creëert een nieuwe categorie met interessante gedragingen voor onderzoekers. Hierbij rijst de vraag hoe efficiënt dergelijke modellen taal en feiten leren in vergelijking met tekstmodellen, hoe effectief ze nieuwe talen kunnen leren en welk soort in-context learning ze kunnen uitvoeren.
Voorbeelden van interacties
De volgende scenario's zijn gebaseerd op live opnames van mensen die met Dessa praten. De AI bepaalt zelf wat er gezegd wordt, wanneer dit gebeurt en hoe, inclusief de eigen stem en persoonlijkheid.
- Gesprek over de release: Dessa lacht op het moment dat er iets grappigs gebeurt, midden in een zin, precies zoals mensen dat doen. Waar andere modellen wachten tot je klaar bent om vervolgens op commando te lachen, reageert Dessa spontaan. Als je vraagt om harder te praten, gaat het volume omhoog, zonder dat dit expliciet is aangeleerd.
- Een film herinneren: Wanneer een persoon de titel van een film vergeet, maakt Dessa de zin af. Het model beschikt over een verrassende hoeveelheid kennis, wetende dat alle feiten uit ruwe audio zijn afgeleid.
- Een jubileumverrassing: Bij een verrassing slaakt Dessa een zachte "oh mijn god" en antwoordt met een stem die klinkt als emotionele dankbaarheid.
- Expressieve conversatie: Het model vertoont een enorm bereik in intonatie en snelheid.
- Levensadvies: In deze interactie klinkt Dessa oprecht empathisch.
- Conversatie met GPT-Live-1: Een demonstratie waarin Dessa spreekt met GPT-Live-1, een AI-model van een derde partij. Beide stemmen zijn AI-gegenereerd.
Wat is Dessa precies?
Dessa is een echt speech-to-speech model: audio gaat erin en audio komt eruit. Alles wat het model weet, is afgeleid van menselijke spraak. Het is full-duplex, wat betekent dat het tegelijkertijd luistert en praat, net als een mens. Omdat het heeft geleerd van echte gesprekken, weet het wanneer het moet inbreken en wanneer het bevestigingsgeluiden moet maken (zoals "ja!", "begrepen!", "ooh") om te laten zien dat het betrokken is. De inference draait sneller dan realtime, waardoor er geen ongemakkelijke wachttijden zijn. Het model kan lokaal draaien op een MacBook Pro M4 Max of krachtiger.
Dessa hoort en spreekt van nature emotie, sarcasme, gelach, een gefrustreerde zucht of een stem die breekt van verdriet. Wanneer spraak via tekst wordt verwerkt, verdwijnen deze nuances, wat verklaart waarom veel spraak-AI houterig, traag en irritant aanvoelt.
Efficiëntie en complexiteit
LLM's (Large Language Models) hebben een enorme hoeveelheid tekst nodig. Dessa heeft taal geleerd van honderden malen minder woorden (hoewel LLM's ook zaken als C++ en Angular moeten leren).
Daarnaast moest Dessa veel meer leren dan alleen taal: accenten, pauzes, ademhaling, sarcasme, humor, buiging en emotie. Al deze elementen veranderen de betekenis van een uitspraak. Neem bijvoorbeeld de zin: "Ik zei niet dat zij mijn CUDA-code stal." Afhankelijk van op welk woord de nadruk ligt, verandert de betekenis volledig.
Spraak herhaalt zich nooit exact; zelfs als je een zin twee keer op dezelfde manier uitspreekt, is de data anders. Tekst is daarentegen altijd identiek. Bovendien neemt één gesproken woord duizenden malen meer bytes in beslag dan hetzelfde woord in tekst. Voor een machine zonder tekstuele ondersteuning is dit een enorme uitdaging, maar we hebben een oplossing gevonden om Dessa te trainen op slechts één NVIDIA GB200 NVL72.
Waarom dit project?
Er zijn drie hoofdredenen voor de ontwikkeling van Dessa:
- Nieuwsgierigheid: Baby's leren praten zonder ooit een geschreven woord te zien. We wilden onderzoeken of een model dat ook kon.
- Betere interactie: Spraak is de meest natuurlijke interface voor intelligentie, maar huidige voice-AI verspilt dit door alles plat te slaan tot tekst en menselijke timing niet bij te kunnen houden.
- Veiligheid: AI wordt steeds krachtiger, maar is nog steeds nagenoeg doof voor emoties. Een AI die niet doorheeft dat iemand in ernstige pijn is en simpelweg doorgaat met praten, vormt een veiligheidsprobleem. Dessa is een stap richting de oplossing hiervan.
Over het team
We zijn een klein AI-onderzoekslab bij Block, opgericht door voormalige leden van Dessa, de deep learning startup uit Toronto. We bouwen deep learning-modellen sinds 2012 en generatieve spraakmodellen al meer dan acht jaar. We richten ons op grensverleggende problemen die anderen negeren en rapporteren direct aan Jack Dorsey, medeoprichter en voorzitter van Block.
Oproep aan veiligheidsonderzoekers
Een model dat uitsluitend uit geluid heeft geleerd te praten, is nieuw terrein. We nodigen een kleine groep AI-veiligheidsonderzoekers uit om vroegtijdig toegang te krijgen tot het model om risico's te identificeren die wij mogelijk over het hoofd hebben gezien.
Teamleden
Onderzoekers
- Louay Hazami
- Hashiam Kadhim
- Qi (Alex) Liu
- Rayhane Mama
- Aydin Polat
- Marc Tyndel
Interns
- Cara Ji
- Jibran Iqbal Shah
- Dvir Zagury-Grynbaum
Voormalige interns
Aanvullende audio-voorbeelden
- Artist Dessa
- Bathroom disaster
- Hobbies talk
- Lazy AI gaming
- Marvel gaming
- Noisy GPT live (Conversatie met GPT-Live-1)
- Oh my god
- Poor Elina
- Refund
- Ronaldo
- Safety lab
- Singing nonsense Spanish
- Spontaneous AI
- Wise Dessa
- Zelda discussions
Groetjes,