Voxtral 3: Voice Agent SDK & Speechmodellen in 50+ talen

Voorbeeld van een interactie

Tool call: get_referral(ref="4420 1187") Resultaat: "Merci de recevoir ce patient pour un avis dermatologique. Traitement en cours : crème à l’hydrocortisone. Dr Martin, Clinique du Parc."

Agent: "Er staat: 'Merci de recevoir ce patient pour un avis dermatologique.' Uw arts vraagt een dermatoloog, Dr. Martin, om u te bezoeken. Het eerstvolgende tijdslot is dinsdag om 17:45 uur. Zal ik dit boeken?" Béatrice: "Ja, graag."

Tool call: book_appointment(slot="Nov 3 17:45") Resultaat: confirmed

Agent: "Geregeld. Neem de brief en uw carte Vitale mee; ik stuur u de details per sms in het Engels."

---

Samenvatting

Voxtral 3 introduceert een geavanceerde voice agent SDK en state-of-the-art speechmodellen die ontworpen zijn voor real-time, meerstapsgesprekken in meer dan 50 talen. Het combineert nauwkeurige transcriptie, natuurlijke spraaksynthese met emotionele aanpasbaarheid en diepe tool-integratie voor naadloze workflowautomatisering. Voxtral 3 is beschikbaar via de door de EU gehoste API van Mistral of via zelf-implementatie, wat datasoevereiniteit garandeert terwijl het mensachtige interacties met lage latentie levert voor contactcenters, virtuele assistenten en handsfree copilots.

De uitdaging van Voice Agents

Hoewel spraaktranscriptie en stemgeneratie grote stappen vooruit zijn gegaan, blijft het bouwen van end-to-end voice agents die kunnen luisteren, redeneren, interactie hebben en complexe workflows kunnen afhandelen, lastig. Een betrouwbare voice agent moet vier zaken gelijktijdig zeer goed beheersen:

1. Nauwkeurig luisteren over verschillende talen, accenten, sprekers en onderbrekingen.
2. Diep redeneren over wat gebruikers bedoelen in specifieke contexten.
3. Natuurlijk spreken met emotie en expressie.
4. Acties uitvoeren over meerdere stappen via verbonden systemen.

Om dit aan te pakken introduceren we Voxtral 3: een nieuwe familie van state-of-the-art speech-to-text (STT) en text-to-speech (TTS) modellen, samen met een voice agent SDK die luisteren, denken, tool calling en spreken integreert in één real-time streaming pipeline.

Voxtral 3 is gebouwd voor natuurlijke conversationele ervaringen, van agents in contactcenters en servicedesks tot virtuele assistenten en handsfree copilots. Dankzij ondersteuning voor tientallen talen, expressieve spraak, complex redeneren en diepe integratie met eigen tools en data, kunnen agents gebouwd met Voxtral genuanceerde intenties interpreteren, sophisticated verzoeken uitwerken en meerstapsacties uitvoeren over verbonden systemen.

Zoals andere Mistral-modellen is de Voxtral 3-familie ontworpen voor soevereine implementatie. Het is beschikbaar via de EU-gehoste API van Mistral of voor zelf-implementatie op eigen infrastructuur, waardoor organisaties controle houden over waar audio wordt verwerkt, hoe data wordt beheerd en of gesprekken worden bewaard.

Belangrijkste kenmerken

• Nauwkeurige transcriptie in 50+ talen: Het speech-to-text model, Voxtral Small Transcribe 3, is state-of-the-art in meertalige transcriptie. Het ondersteunt diarisatie (identificeren wie wat zei) en maakt gebruik van keyphrases om de nauwkeurigheid te verbeteren (context-biasing). Daarnaast detecteert het wanneer iemand is gestopt met spreken, zodat agents zonder vertraging kunnen reageren (end-of-turn detection).
• Natuurlijke spraak die zich aanpast aan het gesprek: Het text-to-speech model, Voxtral Mini TTS 3, introduceert nieuwe stemmen die hun emotie, tempo en klemtoon aanpassen op basis van de conversationele context, met ondersteuning voor 35+ talen en 50+ dialecten.
• Mensachtige intelligentie via spraakcommando's: De nieuwe voice agent SDK combineert luisteren, redeneren, tool calling en spreken in een real-time ervaring. Agents kunnen informatie ophalen, interageren met bedrijfssystemen en taken voltooien tijdens live gesprekken via telefoon of web.
• Pro Voice voor accurate stemadaptatie: Voor professionele use cases waar basis voice cloning niet volstaat, kan de Pro Voice-adaptatie van Voxtral het kenmerkende karakter, het emotionele bereik en de spreekstijl van een spreker reproduceren over verschillende talen, met slechts 30 minuten audio.
• Voice AI op eigen infrastructuur: Gebruik de EU-gehoste API van Mistral of implementeer Voxtral 3 op eigen infrastructuur om gevoelige gesprekken binnen de eigen omgeving te houden.

---

Gedetailleerde analyse: Transcriptie (STT)

Voxtral Transcribe 3 vormt een belangrijke mijlpaal in transcriptie, diarisatie en context-biasing. De lijst met ondersteunde talen is uitgebreid naar 50, inclusief 24 officiële EU-talen en diverse talen uit Azië en India.

Modellen en prestaties

• Voxtral Small Transcribe 3: Behaalt state-of-the-art resultaten in diarisatie en meertalige transcriptie (o.a. Engels, Frans en Spaans). Het presteert beter dan Whisper, Scribe v2 en Gemini 3.5 Transcribe.
• Voxtral Mini Transcribe 3: Een model van 4B parameters dat snelle en nauwkeurige transcripties mogelijk maakt tegen een prijs van $0,0035/min.

Beide modellen ondersteunen context biasing, waarbij sleuteltermen en vrije tekst kunnen worden meegegeven om de transcriptie te sturen en de recall van technische termen te verbeteren. Hierdoor zijn ze inzetbaar in productieomgevingen met domeinspecifiek vocabulaire zonder dat fine-tuning nodig is.

Benchmarks

• Word Error Rate (WER): In de FLEURS 45 benchmark (macro-gemiddelde over 45 talen) vertoont Voxtral Small Transcribe 3 een van de laagste WER-scores.
• Diarisatie: In benchmarks zoals AMI-IHM en Switchboard behaalt Voxtral Small Transcribe 3 superieure resultaten op basis van de Concatenated Minimum Permutation WER (cpWER).
• Keyphrase Recall: Met contextuele prompting vertoont Voxtral Small Transcribe 3 een aanzienlijke verbetering in de recall van specifieke termen (Earnings 22 benchmark).
• Artificial Analysis: In de WER Index (gewogen gemiddelde over VoxPopuli, Earnings-22 en AgentTalk) scoort Voxtral Small Transcribe 3 zeer competitief.

Real-time Transcriptie

Voxtral Realtime Transcribe 3 is gebouwd voor agent-use-cases. Het levert hoogwaardige transcripties met een latentie van minder dan 500ms in meer dan 35 talen, inclusief diarisatie en context biasing.

End-of-turn prediction is native ondersteund. Door zowel akoestische als semantische informatie te combineren, voorspelt het model nauwkeurig wanneer een gebruiker is gestopt met spreken. Dit minimaliseert het aantal keren dat een gebruiker voortijdig wordt onderbroken.

---

Gedetailleerde analyse: Spraakgeneratie (TTS)

Voxtral Mini TTS 3.0 is beschikbaar voor zowel batch- als real-time verwerking en biedt state-of-the-art expressiviteit en instructie-opvolging voor 35+ talen en 50+ dialecten. De kosten bedragen $13 per 1 miljoen karakters, wat voordeliger is dan vergelijkbare modellen van OpenAI TTS-1, Deepgram, ElevenLabs Flash en Gemini Flash.

Kenmerken van de spraakmodellen

Het model interpreteert de semantische betekenis van context beter, wat resulteert in natuurlijke spraak over een breed scala aan emoties. Nieuwe functies zijn:

• Voice cloning vanaf 30+ minuten audio.
• Custom prompt instruction following (IF), waarbij variabelen zoals emotie, tempo en klemtoon kunnen worden aangestuurd.
• Contextuele TTS en een vocabulaire-bibliotheek voor betrouwbaarheid in productie.

Voorbeelden van expressiviteit en uitspraak

Het model past zich aan aan de context van de prompt:

• Engels: "Let's end the debate here: it's GIF." (Correcte uitspraak van het woord 'GIF').
• Frans: "Attends… Ce n’est pas possible. Ce tableau vient de Reims ?" (Natuurlijke verbazing en correcte uitspraak van 'Reims').
• Italiaans: "Il nostro nuovo assistente si chiama Quivello." (Correcte uitspraak van de unieke naam 'Quivello').
• Duits: "Hallo! Ich bin Xyra, deine persönliche Assistentin." (Correcte uitspraak van 'Xyra').

Benchmarking: Voice Code Bench

De Voice Code Bench (door BeSimple AI) richt zich op foutgevoelige situaties in klantenservice, zoals het uitspreken van getallen en unieke namen.

• Kwaliteit per dollar: Voxtral TTS scoort hoog in termen van betrouwbaarheid van clips ten opzichte van de prijs.
• Uitspraakcontrole: In interne evaluaties met zeldzame of verzonnen woorden presteert Voxtral TTS bovengemiddeld in het correct uitspreken van beoogde fonemen.
• Meertaligheid: Over 11 talen behaalt Voxtral TTS een hoge gemiddelde score van juryleden in verhouding tot de prijs.

Vergelijking Voxtral 1 vs Voxtral 3 (Expressiviteit)

• Klantenservice: Voxtral 3 spreekt e-mailadressen en namen (bijv. elena.vance82@yahoo.com) natuurlijker uit.
• Persoonlijke agent: Voxtral 3 verwerkt data zoals vluchttijden en prijzen ("21:00pm on 10/10", "£1881") veel vloeiender.
• Emotie (Blij): Voxtral 3 brengt enthousiasme over bij felicitaties ("Congratulations Corina!") op een menselijke manier.
• Emotie (Boos): Voxtral 3 reflecteert frustratie natuurlijker in klachten over paspoorten.

Lokale taalondersteuning

Voxtral TTS ondersteunt regionale dialecten en houdt rekening met lokale conventies voor tijd, data, temperaturen, adressen en valuta.

• Europa: Engels, Frans, Spaans, Catalaans, Nederlands, Duits, Hongaars, Italiaans, Noors, Pools, Roemeens, Russisch, Turks, Oekraïens.
• Americas: Engels, Portugees.
• Midden-Oosten & Afrika: Arabisch.
• Azië-Pacific: Chinees (o.a. Beijing, Sichuan), Hindi, Japans, Koreaans, Vietnamees.

Voice Presets zijn beschikbaar in 18 talen, waaronder Arabisch (Emirati, Modern Standard), Braziliaans Portugees, Catalaans, Chinees (Mandarijn), Nederlands, Engels (Amerikaans, Brits), Frans, Duits, Grieks, Hindi, Italiaans, Koreaans, Noors, Russisch, Spaans en Vietnamees.

---

De Voice Agent SDK

De Voxtral 3 SDK is gebouwd op LiveKit en beheert de volledige pipeline van spraak-input, redenering en spraak-output als één streaming proces.

De workflow werkt als volgt:

1. Luisteren: Voxtral Mini Transcribe Realtime 3 luistert en detecteert wanneer de beller klaar is met spreken.
2. Redeneren: Een algemeen model (zoals Mistral Small) redeneert en roept tools aan.
3. Spreken: Voxtral Speech 3 antwoordt in de toon van het gesprek.

Omdat de fasen parallel lopen, wordt elke beurt in minder dan één seconde voltooid en stopt de agent direct met spreken zodra de beller hem onderbreekt.

Tijdens een gesprek kan de agent identiteiten verifiëren, facturen controleren of afspraken boeken via function calling, websearch en retrieval over eigen systemen. De SDK ondersteunt gesprekken via SIP, browsers en apps via WebRTC, en integreert met bestaande telefonie-, IVR- en contactcentersoftware.

Omdat elke fase een apart model is, kunnen de LLM, de stem of de taal worden gewijzigd zonder de agent volledig te herschrijven.

---

Beschikbaarheid en Prijzen

Voxtral 3 is beschikbaar via de Mistral API (EU, US en globale endpoints) en kan worden getest in de Studio playgrounds.

Model	Prijs	Omschrijving
Voxtral Mini Transcribe 3 (batch)	$0,0035 / min	Efficiënt, lage latentie, meertalig.
Voxtral Mini Transcribe Realtime 3	$0,008 / min	Real-time, sub-500ms latentie, voor agents.
Voxtral Small Transcribe 3	$0,0040 / min	Hoogste nauwkeurigheid, state-of-the-art diarisatie.
Voxtral Speech 3 (batch & realtime)	$13 / 1M chars	State-of-the-art expressiviteit en instructie-opvolging.

Voor on-premises implementatie of private cloud is contact met het team vereist.