O que é latência de IA conversacional e o que a afeta?

Para a IA conversacional, a latência é o que diferencia boas aplicações de aplicações excelentes.

Por natureza, a IA conversacional é aspiracional. Ela busca reproduzir a sensação de conversar com uma pessoa, espelhando a mesma variedade emocional, entonação e cadência. Quando você também considera o que parece uma pausa “natural” entre o momento em que você para de falar e o início da resposta de um agente de IA, chega a uma meta de latência baseada na forma como as pessoas realmente se comunicam.

Empresas que querem implementar agentes de IA conversacional em escala precisam reduzir essa latência o máximo possível para alcançar essa sensação natural. Este artigo explica o que é a latência de IA conversacional, o que causa atrasos em todo o pipeline e apresenta uma visão geral de como reduzi-los.

Resumo

• A latência de IA conversacional é o atraso total de ponta a ponta entre o momento em que um usuário para de falar e o momento em que ouve a primeira palavra do agente.
• Agentes com mais de 700 ms podem parecer pouco naturais, enquanto aqueles acima de 1.200 ms apresentam altas taxas de abandono.
• A latência se acumula em todas as etapas do pipeline de IA conversacional.
• O ElevenAgents gerencia todo o pipeline em uma única arquitetura unificada, tornando a IA conversacional de baixa latência acessível para sua empresa.

O que é latência de IA conversacional?

A latência de IA conversacional se refere ao tempo total que um sistema leva para responder depois que você fala. Em modelos modernos de IA, a latência é medida em ms. Nos bastidores, o valor total de latência é formado por vários processos separados, cada um contribuindo com uma parte do pipeline de ponta a ponta.

Um pipeline típico de IA conversacional funciona assim:

1. Um usuário fala
2. O áudio é transcrito por um modelo de Speech to Text
3. A transcrição é enviada a um modelo de LLM, que gera uma resposta
4. O texto do LLM é então sintetizado em áudio com um modelo de Text to Speech
5. O áudio é reproduzido para o usuário

Cada uma dessas etapas adiciona latência a um sistema de IA conversacional. Por isso, há algumas siglas importantes para esclarecer ao falar sobre latência.

Latência de inferência do modelo

A latência de inferência do modelo é o tempo que um modelo leva para gerar uma saída, medido internamente e sem considerar fatores externos. É uma medida específica do modelo que indica a rapidez com que seu mecanismo funciona para entradas típicas. Por exemplo, o Flash v2.5 tem uma latência de inferência de cerca de 75 ms. Com isso, você pode comparar a velocidade dos modelos entre diferentes fornecedores.

No entanto, lembre-se de que esse não é o valor de latência que um usuário realmente percebe. Ele se refere apenas ao tempo total que um modelo leva para gerar uma saída.

Tempo até o primeiro token do LLM

O tempo até o primeiro token (TTFT) de um modelo de linguagem grande (LLM) é o tempo total que ele leva para processar um prompt e gerar seu primeiro token de saída utilizável.

A geração por TTS começa quando o primeiro token chega do seu LLM. Portanto, essa métrica indica quanto tempo o LLM leva para começar a acionar seu modelo de TTS. Para a maioria dos sistemas de IA conversacional de ponta a ponta, o TTFT do LLM representa uma parte significativa da latência total.

Tempo até o primeiro áudio do TTS (TTFA)

O tempo até o primeiro áudio do TTS (TTFA) mede o tempo entre a primeira solicitação de TTS e o momento em que o primeiro trecho de áudio realmente sai do modelo. É uma forma de descrever a latência de inferência, mas especificamente para mecanismos de TTS.

Tempo de ponta a ponta até o primeiro áudio (TTFA)

O TTFA de ponta a ponta corresponde à latência total da IA conversacional. É a soma de todas as partes do pipeline, incluindo reconhecimento de fala, TTFT do LLM, TTS, TTFA e todas as transmissões pela rede entre as etapas. Ao falar sobre a latência de IA conversacional como um todo, esta é a métrica percebida pelo usuário.

Quando o usuário fala, ele espera pelo TTFA de ponta a ponta antes de ouvir qualquer resposta do seu agente. É uma medida holística: melhorar qualquer parte do pipeline melhora essa métrica.

Por que a latência de IA conversacional importa

Quando um usuário conversa com seu agente de IA, a latência se torna um fator central na percepção dessa experiência. Tempos de latência baixos reduzem o período de espera por uma resposta, fazendo a conversa parecer natural e o agente parecer capaz.

Agentes com alta latência parecem artificiais e menos competentes, mesmo quando a qualidade das respostas é a mesma. Para as empresas, uma diferença de apenas algumas centenas de ms pode parecer uma eternidade, deixando seu agente de atendimento ao cliente lento e ineficaz.

Veja alguns cenários que demonstram na prática por que a latência de IA conversacional importa:

• Menos de 500 ms: Um agente conversacional parece responsivo e ágil. Os usuários podem nem perceber o atraso entre parar de falar e receber a primeira resposta, permitindo que a conversa flua naturalmente.
• De 500 ms a 1.000 ms: O atraso entre o momento em que o usuário para de falar e recebe uma resposta pode se tornar perceptível. É apenas um pouco longo demais, e os usuários podem tentar se antecipar repetindo o que disseram ou fazendo uma pausa para ver se o agente realmente os entendeu.
• Acima de 1.000 ms: Os atrasos começam a parecer lentos, com pausas que fazem alguns usuários sentirem que o agente de IA não acompanha totalmente a conversa. As transcrições podem mostrar interrupções ocasionais ou pedidos para falar com um atendente humano. Em alguns casos, os usuários podem abandonar a chamada.

Cada um desses limites se traduz em resultados reais para a empresa.

Na extremidade inferior do espectro de latência, você terá um agente de atendimento que responde naturalmente às perguntas recebidas e ajuda os usuários a resolver suas dúvidas sem ajuda adicional. Isso reduz a carga sobre seus atendentes humanos e mantém a satisfação do cliente alta. Na extremidade superior do espectro, você frustrará seus clientes com um agente que parece hesitar por tempo demais.

Em outro artigo, definimos os benchmarks de orçamento de latência para agentes de voz para demonstrar como é uma boa latência nos valores P50 e P95.

O que causa latência na IA conversacional?

Latência de IA conversacional é um termo que resume vários processos diferentes, com cada segmento contribuindo para o total. Por isso, o gargalo para obter baixa latência é mais um problema de nível de sistema do que algo resolvido simplesmente ao escolher um modelo melhor. Afinal, vários modelos interagem no pipeline.

Para desenvolvedores, escrevemos um guia técnico aprofundado sobre otimização de latência de agentes de voz que você pode usar para melhorar cada etapa do tempo de ponta a ponta até o primeiro áudio (TTFA).

Além do pipeline principal, outros fatores, como telefonia e chamadas de função, também adicionam latência, embora não façam parte da infraestrutura interna do modelo.

Veja uma visão geral de todos os fatores que contribuem para a latência de IA conversacional.

Reconhecimento automático de fala

A latência do reconhecimento de fala não é o tempo necessário para gerar uma transcrição. O processo de transcrição é executado em segundo plano enquanto o usuário fala, então, quando a fala termina, o texto já está praticamente pronto.

Aqui, a latência é, na verdade, o intervalo entre o fim da fala e o momento em que a transcrição é finalizada e enviada à próxima etapa. O Scribe v2 Realtime reduz esse intervalo para aproximadamente 150 ms, transmitindo continuamente para que a saída esteja pronta assim que o turno termina.

Alternância de turnos e detecção de fim de fala

Um Detector de Atividade de Voz (VAD) fica entre o reconhecimento de fala e o modelo de linguagem. Sua função é determinar quando o usuário realmente terminou de falar.

Para evitar erros, o VAD espera um limite de silêncio contínuo antes de declarar que o turno terminou, e essa espera adiciona latência antes que o modelo de linguagem processe uma palavra. Essa pequena latência extra aumenta o tempo, mas também evita que o sistema comece a responder enquanto o usuário ainda está falando.

Tecnicamente, se todos os outros componentes da IA conversacional tivessem latência zero, a latência atribuída à alternância de turnos seria positiva. As pessoas fazem uma pequena pausa antes de responder à fala. Uma máquina fazendo uma pausa semelhante traz mais realismo à interação. No entanto, como outros componentes da IA conversacional já adicionam latência, o ideal é que ela seja mínima.

Processamento do modelo de linguagem

Quando a transcrição está pronta no mecanismo de Speech to Text (STT), o modelo de linguagem gera uma resposta. A latência aqui é o tempo para começar a gerar tokens, não para gerar a resposta completa. Esses tokens são transmitidos diretamente para a etapa de TTS à medida que chegam, então o mais importante é o TTFT.

Além da escolha do modelo, tanto o tamanho do prompt quanto o da base de conhecimento afetam essa etapa. Quanto mais contexto o LLM precisa considerar, mais tempo ele leva. Ao projetar esses sistemas em escala, é importante encontrar o equilíbrio entre uma base de conhecimento útil e um prompt enxuto para manter a agilidade.

Síntese de fala

A latência do TTS é o tempo entre o recebimento dos primeiros tokens do modelo de linguagem e o início do áudio. Como os tokens chegam mais rápido do que a fala humana é reproduzida, o modelo de síntese nunca espera pela resposta completa. A latência de TTS é estritamente o tempo até o primeiro trecho de áudio.

Essa etapa costumava ser a maior contribuição individual para a latência de IA conversacional, com modelos mais antigos levando de 2 a 3 segundos para começar a gerar fala. O Flash v2.5 da ElevenLabs resolve isso diretamente, oferecendo síntese de fala com latência de aproximadamente 75 ms e reduzindo esse gargalo de segundos para uma fração de segundo.

Latência de rede

Enviar dados de um local para outro sempre adiciona latência, e a distância geográfica só aumenta a latência de ida e volta na rede.

Como vários componentes trabalham juntos para gerar uma resposta de ponta a ponta, uma latência significativa pode se acumular em diversos saltos de rede.

Chamadas de função

Chamadas de função adicionam viagens de ida e volta pela API na etapa do LLM. Uma consulta interna rápida adiciona dezenas de milissegundos, enquanto um processador de pagamentos ou sistema de inventário pode adicionar segundos. A quantidade de latência depende inteiramente do serviço chamado, o que torna essa etapa a mais difícil de otimizar diretamente.

O padrão mais eficaz é instruir o LLM a responder antes da conclusão da chamada de ferramenta. Uma frase como "Deixe-me verificar isso para você" mantém o usuário engajado enquanto a chamada externa é concluída, em vez de deixar um silêncio. A resposta de voz começa enquanto a ferramenta é executada em paralelo.

Como reduzir a latência de IA conversacional

Reduzir a latência de IA conversacional exige abordar cada etapa do pipeline em ordem de impacto. Embora melhorias individuais afetem a latência, você precisará trabalhar o pipeline inteiro de forma holística para obter a maior mudança.

Veja alguns princípios que podem orientar a redução da latência de IA conversacional em alto nível:

• Seleção do modelo de TTS: Modelos de TTS otimizados para velocidade, como o Flash v2.5, usam arquiteturas diferentes dos modelos otimizados para qualidade, como o Eleven v3. Para agentes de voz em tempo real, a escolha certa é o modelo de maior qualidade que atende à sua meta de latência — que quase sempre será um modelo otimizado para velocidade.
• Seleção do modelo de LLM: Em geral, LLMs menores e mais rápidos produzem menor tempo até o primeiro token do que modelos maiores. Escolher o LLM mais rápido que ainda atende ao seu padrão de qualidade para a tarefa é tão importante quanto a escolha do modelo de TTS.
• Streaming: O streaming de TTS retorna áudio em trechos conforme a síntese avança. Assim, o usuário ouve a primeira palavra enquanto o modelo ainda gera o restante. Esse conceito também se aplica à saída do LLM: iniciar a síntese de TTS na primeira frase enquanto o modelo de linguagem gera as próximas pode recuperar latência do pipeline.
• Design do prompt de sistema: Os usuários podem simplificar prompts de sistema transferindo instruções para procedimentos ou workflows, em vez de mantê-las em cada etapa de decisão. Isso reduz a quantidade de contexto que o modelo precisa processar a cada turno.
• Medidas de proteção: Executar medidas de proteção no modelo de streaming permite que a saída comece a ser reproduzida antes da conclusão da verificação, em vez de bloquear a reprodução até que ela termine.
• Coalocação de modelos: Usar modelos coalocados sempre que possível, como na stack de Agents da ElevenLabs, mantém os componentes próximos para que a latência não seja adicionada por saltos entre modelos hospedados separadamente.
• Localização geográfica: A proximidade entre seus servidores e seus usuários pode reduzir significativamente a latência, pois diminui diretamente a contribuição da rede para o TTFA de ponta a ponta.

Além desses fatores, você pode usar este guia técnico sobre otimização de latência para mais detalhes.

Comece a usar IA conversacional de baixa latência com o ElevenAgents

A latência de IA conversacional é um aspecto muito importante ao desenvolver e implementar agentes. Com o ElevenAgents, a otimização de latência já faz parte do processo. De técnicas de sobreposição para recuperar tempo a uma baixa latência de inferência em componentes individuais, o ElevenAgents cria stacks de IA conversacional de baixa latência para sua empresa.

No fim das contas, o objetivo é criar realismo. O usuário precisa sentir a facilidade de falar com uma pessoa e, ao mesmo tempo, aproveitar os benefícios de um programa de computador. Ao otimizar os subprocessos, isso agora é possível.

Saiba mais sobre o ElevenAgents ou fale com vendas para começar hoje.

Perguntas frequentes sobre latência de IA conversacional