Moduli tecnologici bianchi collegati su una scrivania: architettura componibile per agenti vocali AI

Voxtral 3: Mistral lancia lo stack per agenti vocali

Mistral AI ha rilasciato Voxtral 3, una famiglia che mette in fila tre modelli di trascrizione, un modello text-to-speech e un SDK per agenti vocali costruito su LiveKit. La novità non è il singolo modello, ma l'architettura: ogni stadio della conversazione è un pezzo separato e sostituibile. Il prezzo di questa flessibilità si vede sulla latenza, dove il realtime resta dietro a Gemini 3.5.

Tre modelli di trascrizione, un TTS e un SDK su LiveKit

Voxtral 3 non è un modello unico ma uno stack componibile: Voxtral Small Transcribe 3 per la trascrizione batch e la diarizzazione, Voxtral Mini Transcribe 3 da 4 miliardi di parametri per volumi più economici, Voxtral Mini Transcribe Realtime 3 in streaming su WebSocket con rilevamento della fine del turno, Voxtral Speech 3 per la sintesi vocale. Tutti e quattro sono in anteprima pubblica sull'API Mistral.

  • Small Transcribe 3: modello di punta per batch e diarizzazione, con traduzione, speech Q&A, summarization e function calling tra le funzioni elencate nella documentazione.
  • Mini Transcribe 3: 4B parametri, pensato per ambienti con risorse limitate.
  • Mini Transcribe Realtime 3: ASR in streaming su WebSocket con end-of-turn detection.
  • Voxtral Speech 3: text-to-speech, indicato anche come Voxtral Mini TTS 3.

I modelli di trascrizione batch coprono 50 lingue, incluse le 24 lingue ufficiali dell'UE, con una finestra di contesto di 32k token per entrambi i modelli batch. Tutti supportano diarizzazione e context biasing, cioè la possibilità di passare termini chiave o testo libero per migliorare il recall. The Decoder aggiunge che la sintesi vocale copre oltre 35 lingue e 50 dialetti con adattamento emotivo.

L'SDK, costruito su LiveKit, fa girare tre stadi come un'unica pipeline: il realtime ascolta e capisce quando l'interlocutore smette di parlare, un LLM generale come Mistral Small 4 ragiona e chiama i tool, Voxtral Speech 3 risponde nel tono della conversazione. Ogni turno si chiude in meno di un secondo e l'agente tace se l'utente lo interrompe. Gestisce telefonate su SIP e sessioni browser o app su WebRTC.

Il compromesso tra latenza e precisione nel realtime

Sul benchmark FLEURS 35 il modello realtime scende dal 5,7% di WER a 2.400 ms di latenza al 7,4% a 240 ms: guadagnare 2.160 millisecondi di reattività costa 1,7 punti percentuali di accuratezza, cioè circa il 30% di errore relativo in più (1,7 su 5,7). A 480 ms il WER è del 6,4%.

A 240 ms il confronto è impietoso con Google: Gemini 3.5 Realtime Transcribe segna 4,2%, vale a dire 3,2 punti in meno. Voxtral a 240 ms non batte MAI-Transcribe-2 Streaming (7,4% contro 5,8%); batte però GPT Live Transcribe (8,4%) e Scribe v2 Realtime (8,7%), che restano dietro a ogni impostazione di Voxtral.

Moduli tecnologici bianchi collegati su una scrivania: architettura componibile per agenti vocali AI
Lo stack di Voxtral 3 separa trascrizione, sintesi vocale e agenti in moduli sostituibili.

Sul batch il quadro si ribalta. Ecco i numeri dichiarati da Mistral, affiancati ai concorrenti:

ModelloFLEURS 45 WER (forced/inferred)Diarizzazione cpWERAA-WERSpeed factor
Voxtral Small Transcribe 34,1% / 4,0%18,4%2,1%65,8x
MAI-Transcribe-24,1% / 4,0%20,3%2,0%307,5x
ElevenLabs Scribe v24,9% / 4,9%23,0%2,2%65,4x
Gemini 3.5 Transcribe6,1% / 4,5%38,4%2,6%89,5x

Small Transcribe 3 è terzo su Artificial Analysis con 2,1% di AA-WER, dietro solo a Fun-Realtime-ASR-preview (1,7%) e MAI-Transcribe-2 (2,0%). Il divario vero è la velocità: 65,8x contro 307,5x di MAI-Transcribe-2, che significa un fattore di circa 4,7 volte (307,5 diviso 65,8).

Prezzi, endpoint e la questione dei pesi aperti

La trascrizione parte da $0,0035 al minuto. Il listino completo:

  • Mini Transcribe 3 (batch): $0,0035/min
  • Small Transcribe 3: $0,004/min
  • Mini Transcribe Realtime 3: $0,008/min
  • Voxtral Speech 3: $13 per 1 milione di caratteri
  • Voice agent API: $0,04/min con Mistral Small 4, $0,08/min con qualsiasi altro reasoning model

Il realtime costa esattamente il doppio del batch Small ($0,008 contro $0,004), mentre l'API voice agent completa, a $0,04/min, vale dieci volte il solo listino della trascrizione batch. I modelli girano sugli endpoint europei, statunitensi e globali di Mistral, oppure su infrastruttura propria passando dal team commerciale. OpenRouter elenca i tre nuovi modelli con endpoint ospitati in UE a ritenzione zero dei dati. Mistral sostiene che il prezzo del TTS batta OpenAI TTS-1, Deepgram, ElevenLabs Flash e Gemini Flash. Nessun peso aperto è stato annunciato.

Cosa cambia per chi costruisce agenti vocali

Il dato più utile per un team di prodotto è il context biasing: sul benchmark Earnings 22 il recall delle keyphrase passa dall'81,4% senza contesto al 94,6% con contesto, cioè 13,2 punti percentuali in più. Su Scribe v2 il salto è analogo (84,0% a 94,3%). In pratica, passare un glossario di nomi, prodotti e codici interni all'ASR sembra indicare che la qualità percepita conti più di qualsiasi cambio di modello.

C'è poi una discrepanza da segnalare: MarkTechPost attribuisce 2,2% di AA-WER a Voxtral Mini Transcribe 3 nel testo, ma nella tabella comparativa lo stesso valore finisce a ElevenLabs Scribe v2, mentre Small resta a 2,1%. Le due fonti divergono anche sulla nomenclatura del TTS, Voxtral Speech 3 per MarkTechPost e Voxtral Mini TTS 3 per The Decoder: probabile che siano lo stesso modello con due etichette.

La conseguenza operativa è netta. Chi ha bisogno di accuratezza batch e diarizzazione ha un'opzione competitiva a $0,004/min; chi costruisce un centralino vocale deve accettare il doppio del prezzo per il realtime e un divario di 3,2 punti da Gemini, sapendo che l'LLM, la voce e la lingua si possono cambiare pezzo per pezzo. Il vero limite è un altro: senza pesi aperti, il self-hosting passa solo da un accordo commerciale con Mistral.

Fonti

Francesco Leone
Francesco Leone

Francesco Leone è un esperto in Intelligenza Artificiale con una profonda conoscenza in Machine Learning e Deep Learning. Attraverso la sua esperienza, ha contribuito allo sviluppo di soluzioni innovative in ambito di elaborazione del linguaggio naturale e visione artificiale, mirando a trasformare il modo in cui interagiamo con la tecnologia. Attivo nel settore con pubblicazioni e progetti su https://ital-ia.it/, Francesco si dedica alla ricerca e all'applicazione di algoritmi avanzati per rendere i sistemi più intelligenti e accessibili.

Articoli: 664

Lascia una risposta

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *