Che cos'è la latenza dell'IA conversazionale e cosa la influenza?

Per l'IA conversazionale, la latenza è ciò che distingue le buone applicazioni da quelle eccellenti.

L'IA conversazionale è per sua natura ambiziosa: punta a ricreare la stessa sensazione di una conversazione con una persona, riproducendone la gamma emotiva, il tono e il ritmo. Se aggiungi un ritardo percepito come “naturale” tra il momento in cui smetti di parlare e quello in cui un agente IA inizia a rispondere, ottieni un obiettivo di latenza basato sul modo in cui le persone comunicano davvero.

Le aziende che vogliono implementare agenti di IA conversazionale su larga scala devono ridurre il più possibile questa latenza per creare un'interazione naturale. Questo articolo spiega cos'è la latenza dell'IA conversazionale, cosa causa ritardi nell'intera pipeline e come ridurli a grandi linee.

In sintesi

• La latenza dell'IA conversazionale è il ritardo totale end-to-end tra il momento in cui un utente smette di parlare e quello in cui sente la prima parola dell'agente.
• Gli agenti con una latenza superiore a 700 ms possono sembrare poco naturali, mentre quelli oltre i 1.200 ms presentano alti tassi di abbandono.
• La latenza si accumula in ogni fase della pipeline dell'IA conversazionale.
• ElevenAgents gestisce l'intera pipeline in un'unica architettura integrata, rendendo l'IA conversazionale a bassa latenza accessibile alla tua azienda.

Cos'è la latenza dell'IA conversazionale?

La latenza dell'IA conversazionale indica il tempo totale che un sistema impiega per rispondere dopo che hai parlato. Per i moderni modelli di IA, la latenza si misura in ms. Dietro le quinte, il valore di latenza totale è composto da diversi processi separati, ognuno dei quali contribuisce alla pipeline end-to-end.

Una tipica pipeline di IA conversazionale funziona così:

1. Un utente parla
2. L'audio viene trascritto da un modello Speech to Text
3. La trascrizione viene passata a un modello LLM, che genera una risposta
4. Il testo dell'LLM viene quindi sintetizzato in audio con un modello di Text to Speech
5. L'audio viene quindi riprodotto per l'utente

Ognuna di queste fasi aggiunge latenza a un sistema di IA conversazionale. Per questo, quando si parla di latenza, è utile chiarire alcuni acronimi.

Latenza di inferenza del modello

La latenza di inferenza del modello è il tempo che un modello impiega per generare un output, misurato internamente ed escludendo tutti i fattori esterni. È una misura specifica del modello che indica la velocità del tuo motore con input tipici. Ad esempio, Flash v2.5 ha una latenza di inferenza del modello di circa 75 ms. Conoscendo questo dato, puoi confrontare la velocità dei modelli tra diversi concorrenti.

Ricorda però che questo non è il valore di latenza effettivamente percepito dall'utente. Si riferisce specificamente al tempo totale che un modello impiega per generare un output.

Time-to-first-token dell'LLM

Il time-to-first-token (TTFT) di un modello linguistico di grandi dimensioni (LLM) è il tempo totale necessario affinché il modello elabori un prompt e generi il primo token di output utilizzabile.

La generazione TTS inizia quando il primo token arriva dal tuo LLM, quindi questa misura indica quanto tempo impiega l'LLM a iniziare a inviare input al modello TTS. Per la maggior parte dei sistemi di IA conversazionale end-to-end, il TTFT dell'LLM rappresenta una parte significativa della latenza totale.

Time-to-first-audio (TTFA) del TTS

Il time-to-first-audio (TTFA) del TTS misura il tempo che passa dalla prima richiesta TTS al momento in cui il primo chunk audio esce effettivamente dal modello. È un modo per descrivere la latenza di inferenza del modello, ma specificamente per i motori TTS.

Time-to-first-audio (TTFA) end-to-end

Il TTFA end-to-end è la latenza totale dell'IA conversazionale. È la somma di tutte le parti della pipeline, dal riconoscimento vocale e il TTFT dell'LLM al TTS, al TTFA e a tutte le trasmissioni di rete tra le varie fasi. Quando si parla della latenza complessiva dell'IA conversazionale, questa è la metrica percepita dall'utente.

Quando parla, l'utente attende il TTFA end-to-end prima di sentire una risposta dall'agente. È una misura olistica: migliorare qualsiasi parte della pipeline la migliora.

Perché la latenza dell'IA conversazionale è importante

Quando un utente parla con il tuo agente IA, la latenza diventa un fattore centrale nel modo in cui percepisce l'esperienza. Tempi di latenza ridotti diminuiscono l'attesa prima di una risposta, rendendo la conversazione più naturale e il tuo agente più efficace.

Gli agenti con latenza elevata sembrano artificiali e meno competenti, anche quando la qualità delle risposte è la stessa. Per le aziende, persino una differenza di poche centinaia di ms può sembrare un'eternità e rendere il tuo agente di assistenza clienti macchinoso e inefficace.

Ecco alcuni scenari che mostrano perché la latenza dell'IA conversazionale è importante nella pratica:

• Meno di 500 ms: Un agente conversazionale appare reattivo e fluido. Gli utenti potrebbero non percepire il ritardo tra quando smettono di parlare e quando ricevono la prima risposta, permettendo alla conversazione di scorrere senza interruzioni.
• Da 500 ms a 1000 ms: Il ritardo tra quando un utente smette di parlare e quando riceve una risposta può iniziare a essere percepibile. È leggermente troppo lungo, quindi gli utenti potrebbero cercare di adattarsi in anticipo ripetendosi o facendo una pausa per capire se l'agente li ha davvero compresi.
• Oltre 1000 ms: I ritardi iniziano a sembrare lunghi e le pause possono far sentire alcuni utenti come se l'agente IA non riuscisse a tenere il passo della conversazione. Le trascrizioni possono mostrare interruzioni occasionali o richieste di parlare con un operatore umano. In alcuni casi, gli utenti potrebbero abbandonare la chiamata.

Ognuna di queste soglie si traduce in risultati aziendali concreti.

Nella fascia più bassa dello spettro di latenza, avrai un agente di assistenza clienti in grado di gestire naturalmente le domande in arrivo e aiutare gli utenti a risolvere le richieste senza ulteriore assistenza. Questo alleggerisce il carico degli operatori umani e mantiene alta la soddisfazione dei clienti. Nella fascia più alta dello spettro di latenza, invece, frustrerai i clienti con un agente che sembra esitare troppo a lungo.

In un altro articolo abbiamo definito i benchmark del budget di latenza per gli agenti vocali per mostrare come si presenta una buona latenza sia nei valori P50 sia nei valori P95.

Cosa causa la latenza dell'IA conversazionale?

La latenza dell'IA conversazionale è un termine che riassume diversi processi, ognuno dei quali contribuisce al risultato complessivo. Di conseguenza, ottenere una bassa latenza è più un problema a livello di sistema che qualcosa risolvibile scegliendo semplicemente un modello migliore. Dopotutto, nella pipeline interagiscono diversi modelli.

Per gli sviluppatori, abbiamo scritto una guida tecnica approfondita sull'ottimizzazione della latenza degli agenti vocali che puoi usare per migliorare ogni fase del time-to-first-audio (TTFA) end-to-end.

Oltre alla pipeline principale, anche altri fattori come la telefonia e le function call aggiungono latenza, pur non essendo interni all'infrastruttura del modello.

Ecco una panoramica di tutti i fattori che contribuiscono alla latenza dell'IA conversazionale.

Riconoscimento vocale automatico

La latenza del riconoscimento vocale non è il tempo necessario per generare una trascrizione. Il processo di trascrizione viene eseguito in background mentre l'utente parla, quindi quando il parlato termina, il testo è in gran parte già pronto.

In questo caso, la latenza è il divario tra la fine del parlato e il momento in cui la trascrizione viene finalizzata e passata alla fase successiva. Scribe v2 Realtime riduce questo divario a circa 150 ms, trasmettendo in streaming continuo affinché l'output sia pronto non appena termina il turno di parola.

Gestione dei turni di parola e endpointing

Un rilevatore di attività vocale (VAD) si trova tra il riconoscimento vocale e il modello linguistico. Il suo compito è stabilire quando l'utente ha effettivamente finito di parlare.

Per evitare errori, il VAD attende una soglia di silenzio prolungato prima di dichiarare concluso il turno di parola, e questa attesa aggiunge latenza prima che il modello linguistico elabori una parola. Questa piccola latenza aggiuntiva richiede tempo, ma evita anche che il sistema inizi a rispondere mentre l'utente sta ancora parlando.

Tecnicamente, se tutti gli altri componenti dell'IA conversazionale avessero latenza zero, quella attribuita alla gestione dei turni di parola sarebbe positiva. Le persone fanno una breve pausa prima di rispondere. Una macchina che fa una pausa simile rende l'interazione più realistica. Tuttavia, poiché gli altri componenti dell'IA conversazionale generano già latenza, l'ideale è ridurla al minimo.

Elaborazione del modello linguistico

Quando la trascrizione del motore Speech to Text (STT) è pronta, il modello linguistico genera una risposta. La latenza in questa fase è il tempo necessario per iniziare a generare token, non per generare l'intera risposta. I token vengono trasmessi direttamente alla fase TTS non appena arrivano, quindi ciò che conta di più è il TTFT.

Oltre alla scelta del modello, sia la lunghezza del prompt sia la dimensione della knowledge base influiscono su questa fase. Più contesto l'LLM deve considerare, più tempo impiega. Quando progetti questi sistemi su larga scala, devi trovare il giusto equilibrio tra una knowledge base utile e un prompt snello per mantenere la velocità.

Sintesi vocale

La latenza del TTS è il tempo tra la ricezione dei primi token dal modello linguistico e l'inizio dell'audio. Poiché i token arrivano più velocemente di quanto venga riprodotto il parlato umano, il modello di sintesi non attende mai la risposta completa. La latenza del TTS corrisponde strettamente al tempo necessario per il primo chunk audio.

Questa fase era in passato il principale fattore singolo della latenza dell'IA conversazionale: i modelli meno recenti impiegavano 2-3 secondi prima di iniziare a generare parlato. Flash v2.5 di ElevenLabs affronta direttamente questo problema, offrendo sintesi vocale con una latenza di circa 75 ms e riducendo il collo di bottiglia da secondi a una frazione di secondo.

Latenza di rete

L'invio di dati da una posizione a un'altra aggiunge sempre latenza, e la distanza geografica non fa che aumentare la latenza di rete di andata e ritorno.

Poiché diversi componenti collaborano per fornire una risposta end-to-end, una latenza significativa può accumularsi attraverso più serie di hop di rete.

Function calling

Le function call aggiungono round trip API nella fase dell'LLM. Una rapida ricerca interna aggiunge decine di millisecondi, mentre un processore di pagamenti o un sistema di inventario potrebbe aggiungere secondi. La quantità di latenza dipende interamente dal servizio chiamato, rendendo questa la fase più difficile da ottimizzare direttamente.

L'approccio più efficace consiste nel fare in modo che l'LLM risponda prima che la tool call sia completata. Una frase come "Controllo subito" mantiene l'utente coinvolto mentre viene risolta la chiamata esterna, invece di lasciare silenzio. La risposta vocale inizia mentre lo strumento viene eseguito in parallelo.

Come ridurre la latenza dell'IA conversazionale

Per ridurre la latenza dell'IA conversazionale devi intervenire su ogni fase della pipeline in ordine di impatto. Sebbene i singoli miglioramenti influiscano sulla latenza, per ottenere il cambiamento maggiore devi lavorare sull'intera pipeline in modo olistico.

Ecco alcuni principi che possono guidarti nella riduzione della latenza dell'IA conversazionale:

• Scelta del modello TTS: I modelli TTS ottimizzati per la velocità, come Flash v2.5, usano architetture diverse rispetto ai modelli ottimizzati per la qualità, come Eleven v3. Per gli agenti vocali in tempo reale, la scelta giusta è il modello di qualità più elevata che soddisfa il tuo obiettivo di latenza, che quasi sempre è un modello ottimizzato per la velocità.
• Scelta del modello LLM: Gli LLM più piccoli e veloci producono generalmente un time-to-first-token inferiore rispetto a quelli più grandi. Scegliere l'LLM più rapido che soddisfi comunque il livello di qualità richiesto per l'attività è importante quanto scegliere il modello TTS.
• Streaming: Lo streaming TTS restituisce l'audio in chunk mentre la sintesi procede, quindi l'utente sente la prima parola mentre il modello sta ancora generando il resto. Questo concetto si applica anche all'output dell'LLM: iniziare la sintesi TTS dalla prima frase mentre il modello linguistico genera quelle successive permette di recuperare latenza nella pipeline.
• Progettazione del system prompt: Gli utenti possono semplificare i system prompt spostando le istruzioni in procedure o workflow, anziché mantenerle in ogni fase decisionale. Così si riduce la quantità di contesto su cui il modello deve ragionare a ogni turno.
• Guardrail: Eseguire i guardrail nel modello in streaming consente di avviare la riproduzione dell'output prima che il controllo del guardrail sia completato, invece di bloccarla fino alla fine del controllo.
• Collocazione dei modelli: Usare, dove possibile, modelli collocati nella stessa sede, come nello stack ElevenLabs Agents, mantiene i componenti vicini e impedisce che la latenza aumenti a causa degli hop tra modelli forniti separatamente.
• Posizione geografica: La vicinanza tra i tuoi server e gli utenti può ridurre significativamente la latenza, perché diminuisce direttamente il contributo della rete al TTFA end-to-end.

Oltre a questi fattori, puoi consultare questa guida tecnica sull'ottimizzazione della latenza per maggiori dettagli.

Inizia a usare l'IA conversazionale a bassa latenza con ElevenAgents

La latenza dell'IA conversazionale è un aspetto fondamentale da considerare quando crei e implementi agenti. Con ElevenAgents, l'ottimizzazione della latenza è integrata nel processo. Dalle tecniche di sovrapposizione per recuperare tempo alla bassa latenza di inferenza dei singoli componenti, ElevenAgents crea stack di IA conversazionale a bassa latenza per la tua azienda.

In definitiva, l'obiettivo è creare realismo. Un utente deve percepire la semplicità di parlare con una persona, ottenendo al tempo stesso i vantaggi di un programma informatico. Riducendo i tempi dei sottoprocessi, oggi è possibile.

Scopri di più su ElevenAgents o contatta il team commerciale per iniziare oggi.

FAQ sulla latenza dell'IA conversazionale