Vad är latens i Conversational AI och vad påverkar den?

För Conversational AI är latens det som skiljer bra applikationer från riktigt bra.

Conversational AI strävar i grunden efter att efterlikna känslan av att prata med en människa, med samma känslomässiga omfång, tonläge och rytm. Lägg till vad som känns som en naturlig paus mellan att du slutar prata och att en AI-agent börjar svara, så får du ett latensmål som bygger på hur människor faktiskt kommunicerar. 

Företag som vill driftsätta Conversational AI-agenter i stor skala måste minska latensen så mycket som möjligt för att skapa den naturliga upplevelsen. Den här artikeln går igenom vad latens i Conversational AI är, vad som orsakar fördröjningar i hela kedjan och hur du kan minska dem. 

Sammanfattning

• Latens i Conversational AI är den totala fördröjningen från att en användare slutar prata tills de hör agentens första ord.
• Agenter med en latens över 700 ms kan kännas onaturliga, och agenter över 1 200 ms har hög avhoppsfrekvens.
• Latens byggs på i varje steg av Conversational AI-kedjan.
• ElevenAgents hanterar hela kedjan i en enda sammanhållen arkitektur, vilket gör Conversational AI med låg latens tillgängligt för ditt företag.

Vad är latens i Conversational AI?

Latens i Conversational AI är den totala tiden det tar för ett system att svara efter att du har pratat. För moderna AI-modeller mäts latens i ms. Bakom kulisserna består den totala latensen av flera separata processer som var och en utgör en del av hela kedjan. 

En typisk kedja för Conversational AI ser ut så här:

1. En användare pratar
2. Ljudet transkriberas av en tal-till-text-modell
3. Transkriberingen skickas till en LLM-modell som skapar ett svar
4. LLM-modellens text omvandlas sedan till ljud med en Text to Speech-modell
5. Ljudet spelas sedan upp för användaren

Vart och ett av dessa steg ökar latensen i ett Conversational AI-system. Därför finns det några olika förkortningar som är bra att reda ut när man pratar om latens.

Latens vid modellinferens

Latens vid modellinferens är den tid en modell använder för att generera output, mätt internt och utan externa faktorer. Det är ett modellspecifikt mått på hur snabbt din motor presterar för typiska indata. Flash v2.5 har till exempel en latens vid modellinferens på omkring 75 ms. Med det måttet kan du jämföra hur snabba modeller är hos olika leverantörer.

Kom dock ihåg att detta inte är den latens som användaren faktiskt upplever. Den avser bara den totala tid som modellen använder för att generera output.

LLM time-to-first-token

Time-to-first-token (TTFT) för stora språkmodeller (LLM) är den totala tid det tar för en stor språkmodell att bearbeta en prompt och generera sin första användbara output-token.

TTS-generering börjar när den första tokenen kommer från din LLM, så detta visar hur lång tid LLM-modellen tar på sig att börja aktivera din TTS-modell. I de flesta heltäckande Conversational AI-system utgör LLM TTFT en betydande del av den totala latensen. 

TTS time-to-first-audio (TTFA)

TTS time-to-first-audio (TTFA) mäter tiden från den första TTS-förfrågan tills den första ljudbiten faktiskt lämnar modellen. Det är ett sätt att beskriva latens vid modellinferens, men specifikt för TTS-motorer. 

End-to-end time-to-first-audio (TTFA)

End-to-end TTFA är den totala latensen i Conversational AI. Det är summan av varje del av kedjan, från taligenkänning, LLM TTFT och TTS TTFA till alla nätverksöverföringar mellan stegen. När man pratar om den samlade latensen i Conversational AI är detta måttet som användaren upplever.

När användaren pratar väntar de på end-to-end TTFA innan de hör något svar från din agent. Det är ett helhetsmått, vilket innebär att förbättringar i valfri del av kedjan förbättrar resultatet. 

Varför latens i Conversational AI spelar roll

När en användare pratar med din AI-agent blir latens en avgörande faktor för hur de upplever samtalet. Låg latens minskar tiden användaren behöver vänta på ett svar, vilket gör att samtalet känns naturligt och att agenten verkar kompetent. 

Agenter med hög latens känns konstlade och mindre kompetenta, även om svarens kvalitet är densamma. För företag kan till och med några hundra ms kännas som en evighet och få din kundtjänstagent att kännas trög och ineffektiv.

Här är några scenarier som visar varför latens i Conversational AI spelar roll i praktiken:

• Under 500 ms: En konversationsagent känns responsiv och smidig. Användare kanske inte ens märker fördröjningen mellan att de slutar prata och får sitt första svar, vilket gör att samtalet flyter på.
• 500 ms till 1 000 ms: Fördröjningen mellan att användaren slutar prata och får ett svar kan börja märkas. Den är bara lite för lång, vilket kan få användare att upprepa sig eller pausa för att se om agenten faktiskt har förstått dem.
• Över 1 000 ms: Fördröjningarna börjar kännas långsamma, med pauser som kan få vissa användare att känna att AI-agenten inte riktigt hänger med i samtalet. Transkriberingar kan visa enstaka avbrott eller önskemål om att få prata med en mänsklig agent. I vissa fall kan användaren avbryta samtalet.

Var och en av dessa gränsvärden påverkar verkliga affärsresultat. 

I den lägre delen av latensskalan får du en kundtjänstagent som naturligt kan hantera inkommande frågor och hjälpa användare att lösa sina ärenden utan extra hjälp. Det avlastar dina mänskliga agenter och håller kundnöjdheten hög. I den högre delen av latensskalan frustrerar du i stället kunderna med en agent som verkar tveka alldeles för länge. 

I en annan artikel har vi definierat riktvärden för latensbudget för röstagent för att visa hur bra latens ser ut för både P50- och P95-värden. 

Vad orsakar latens i Conversational AI?

Latens i Conversational AI är ett samlingsbegrepp för flera olika processer, där varje del bidrar till helheten. Flaskhalsen för låg latens är därför snarare ett problem på systemnivå än något som löses genom att bara välja en bättre modell. Flera modeller samverkar trots allt i kedjan.

För utvecklare har vi skrivit en fördjupad teknisk guide om optimering av röstagentlatens som du kan använda för att förbättra varje steg i end-to-end time-to-first-audio (TTFA).

Utöver kärnkedjan bidrar även andra faktorer, som telefoni och funktionsanrop, till latens trots att de inte ingår i modellinfrastrukturen. 

Här är en översikt över alla faktorer som bidrar till latens i Conversational AI. 

Automatisk taligenkänning

Latensen för taligenkänning är inte tiden det tar att skapa en transkribering. Transkriberingen körs i bakgrunden medan användaren pratar, så när talet avslutas är texten till stor del redan klar. 

Latensen här är i stället tiden mellan att talet avslutas och att transkriberingen färdigställs och skickas vidare till nästa steg. Scribe v2 Realtime minskar detta till omkring 150 ms och streamar kontinuerligt, så att output är klar i samma ögonblick som turen avslutas.

Turtagning och slutpunktsdetektering 

En Voice Activity Detector (VAD) ligger mellan taligenkänningen och språkmodellen. Dess uppgift är att avgöra när användaren faktiskt har pratat klart. 

För att undvika fel väntar VAD på en viss mängd sammanhängande tystnad innan den avgör att turen är över. Den väntan ger extra latens innan språkmodellen bearbetar ett ord. Den lilla extra latensen tar tid, men förhindrar också att systemet börjar svara medan användaren fortfarande pratar. 

Rent tekniskt skulle latensen från turtagning vara positiv om alla andra delar av Conversational AI hade noll latens. Människor tar en kort paus innan de svarar. När en maskin gör samma sak känns interaktionen mer realistisk. Men eftersom andra delar av Conversational AI redan skapar latens är minimal latens bäst.

Bearbetning i språkmodellen

När transkriberingen är klar från tal-till-text-motorn (STT) skapar språkmodellen ett svar. Latensen här är tiden det tar att börja generera tokens, inte att generera hela svaret. Dessa tokens streamas direkt till TTS-steget när de kommer, så det viktigaste är TTFT. 

Utöver modellval påverkar både promptens längd och kunskapsbasens storlek detta steg. Ju mer kontext LLM-modellen måste ta hänsyn till, desto längre tid tar det. När du utformar sådana system i stor skala behöver du hitta rätt balans mellan en användbar kunskapsbas och en kortfattad prompt för att behålla hastigheten.

Talsyntes

TTS-latens är tiden mellan att språkmodellen skickar de första tokenen och att ljudet börjar. Eftersom tokens kommer snabbare än mänskligt tal spelas upp väntar syntesmodellen aldrig på hela svaret. TTS-latens är strikt tiden till den första ljudbiten. 

Det här steget brukade vara den största enskilda orsaken till latens i Conversational AI, där äldre modeller behövde 2–3 sekunder för att börja generera tal. ElevenLabs Flash v2.5 hanterar detta direkt genom att leverera talsyntes med cirka 75 ms latens och minska flaskhalsen från sekunder till en bråkdel av en sekund.

Nätverkslatens

Att skicka data från en plats till en annan ger alltid extra latens, och geografiskt avstånd förvärrar bara nätverkets tur- och returlatens. 

Eftersom flera komponenter samverkar för att skapa ett heltäckande svar kan betydande latens byggas på över flera nätverkshopp. 

Funktionsanrop

Funktionsanrop lägger till API-tur- och returanrop i LLM-steget. En snabb intern uppslagning lägger till tiotals millisekunder, medan en betaltjänst eller ett lagersystem kan lägga till sekunder. Hur mycket latens som tillkommer beror helt på tjänsten som anropas, vilket gör detta till det svåraste steget att optimera direkt. 

Det mest effektiva är att instruera LLM-modellen att svara innan verktygsanropet är klart. En fras som "Jag ska kolla det åt dig" håller användaren engagerad medan det externa anropet slutförs, i stället för att lämna en tystnad. Röstsvaret börjar medan verktyget körs parallellt.

Så minskar du latensen i Conversational AI

För att minska latensen i Conversational AI behöver du hantera varje steg i kedjan utifrån dess påverkan. Enskilda förbättringar påverkar latensen, men för att få störst effekt behöver du arbeta med hela kedjan som en helhet.

Här är några principer som kan hjälpa dig att minska latensen i Conversational AI på övergripande nivå:

• Val av TTS-modell: Hastighetsoptimerade TTS-modeller som Flash v2.5 använder andra arkitekturer än kvalitetsoptimerade modeller som Eleven v3. För röstagenter i realtid är rätt val den modell med högst kvalitet som uppfyller ditt latensmål, vilket nästan alltid är en modell optimerad för hastighet. röstagenter, är rätt val den modell med högst kvalitet som uppfyller ditt latensmål, vilket nästan alltid är en modell optimerad för hastighet.
• Val av LLM-modell: Mindre och snabbare LLM-modeller ger generellt kortare time-to-first-token än större modeller. Att välja den snabbaste LLM-modellen som fortfarande uppfyller dina kvalitetskrav för uppgiften är lika viktigt som valet av TTS-modell.
• Streaming: Streamad TTS returnerar ljud i bitar medan syntesen pågår, så att användaren hör det första ordet medan modellen fortfarande genererar resten. Samma princip gäller LLM-output: genom att börja TTS-syntesen vid den första meningen medan språkmodellen genererar följande meningar kan du återvinna latens i kedjan. 
• Utformning av systemprompt: Användare kan effektivisera systemprompter genom att flytta instruktioner till procedurer eller workflows i stället för att ha dem som en del av varje beslutssteg. Det minskar mängden kontext som modellen behöver resonera kring i varje tur.
• Skyddsräcken: Genom att köra skyddsräcken i den streamade modellen kan output börja spelas upp innan kontrollen är klar, i stället för att blockera uppspelningen tills kontrollen är färdig.
• Samplacering av modeller: Att använda samplacerade modeller där det är möjligt, till exempel ElevenLabs Agents-stack, håller komponenterna nära varandra så att inga extra fördröjningar uppstår mellan modeller som driftas separat.
• Geografi: När dina servrar finns nära användarna kan latensen minska betydligt, eftersom nätverkets bidrag till end-to-end TTFA då minskar direkt. 

Utöver dessa faktorer kan du använda den här tekniska guiden om att optimera latens för mer information. 

Kom igång med Conversational AI med låg latens i ElevenAgents

Latens i Conversational AI är en avgörande faktor när du bygger och driftsätter agenter. Med ElevenAgents är latensoptimering inbyggd i processen. Från överlappande tekniker som återvinner tid till låg latens vid modellinferens i enskilda komponenter bygger ElevenAgents Conversational AI-stackar med låg latens för ditt företag. 

I slutändan handlar målet om att skapa realism. En användare ska känna samma enkelhet som när de pratar med en människa, samtidigt som de får fördelarna med ett datorprogram. Genom att korta ner delprocesserna är det nu möjligt.

Läs mer om ElevenAgents eller kontakta säljteamet för att komma igång idag.

Vanliga frågor om latens i Conversational AI