¿Qué es la latencia de la IA conversacional y qué factores influyen en ella?

En la IA conversacional, la latencia es lo que diferencia las buenas aplicaciones de las excelentes.

La IA conversacional aspira, por naturaleza, a reproducir la sensación de conversar con una persona, reflejando el mismo rango emocional, tono y cadencia. Si además tenemos en cuenta lo que consideramos un retraso «natural» entre el momento en que dejas de hablar y el momento en que un agente de IA empieza a responder, obtenemos un objetivo de latencia basado en cómo se comunican realmente las personas.

Empresas que quieren implementar agentes de IA conversacional a gran escala necesitan reducir esa latencia todo lo posible para conseguir esa sensación natural. Este artículo explica qué es la latencia de la IA conversacional, qué provoca retrasos en toda la cadena y ofrece una visión general de cómo reducirlos.

Resumen

• La latencia de la IA conversacional es el retraso total de extremo a extremo desde que un usuario deja de hablar hasta que escucha la primera palabra del agente.
• Los agentes con más de 700 ms pueden resultar poco naturales, y los que superan los 1200 ms tienen tasas de abandono elevadas.
• La latencia se acumula en cada fase de la cadena de IA conversacional.
• ElevenAgents gestiona toda la cadena en una única arquitectura unificada, poniendo la IA conversacional de baja latencia al alcance de tu empresa.

¿Qué es la latencia de la IA conversacional?

La latencia de la IA conversacional se refiere al tiempo total que tarda un sistema en responder después de que hables. En los modelos de IA modernos, la latencia se mide en ms. Entre bastidores, la cifra total de latencia se compone de varios procesos independientes, cada uno de los cuales aporta una parte a la cadena de extremo a extremo.

Una cadena típica de IA conversacional funciona así:

1. Un usuario habla
2. Un modelo de voz a texto transcribe el audio
3. La transcripción se envía a un modelo LLM, que genera una respuesta
4. Después, el texto del LLM se sintetiza en audio con un modelo de texto a voz
5. Por último, el audio se reproduce para el usuario

Cada una de estas fases añade latencia a un sistema de IA conversacional. Por eso, al hablar de latencia, conviene aclarar algunos acrónimos.

Latencia de inferencia del modelo

La latencia de inferencia del modelo es el tiempo que un modelo dedica a generar resultados, medido internamente y sin incluir factores externos. Es la medida específica del modelo que indica la rapidez con la que funciona tu motor con entradas habituales. Por ejemplo, Flash v2.5 tiene una latencia de inferencia de aproximadamente 75 ms. Con este dato, puedes comparar la rapidez de los modelos de distintos proveedores.

Aun así, recuerda que esta no es la cifra de latencia que experimenta realmente el usuario. Se refiere específicamente al tiempo total que un modelo dedica a generar resultados.

Tiempo hasta el primer token del LLM

El tiempo hasta el primer token (TTFT) de un modelo de lenguaje grande (LLM) es el tiempo total que tarda en procesar un prompt y generar su primer token de salida utilizable.

La generación de TTS comienza cuando llega el primer token de tu LLM, por lo que esta métrica indica cuánto tarda el LLM en empezar a activar tu modelo de TTS. En la mayoría de sistemas de IA conversacional de extremo a extremo, el TTFT del LLM supone una parte importante de la latencia total.

Tiempo hasta el primer audio de TTS (TTFA)

El tiempo hasta el primer audio de TTS (TTFA) mide el tiempo desde la primera solicitud de TTS hasta que el primer fragmento de audio sale realmente del modelo. Es una forma de describir la latencia de inferencia del modelo, pero específicamente para motores de TTS.

Tiempo de extremo a extremo hasta el primer audio (TTFA)

El TTFA de extremo a extremo es la latencia total de la IA conversacional. Es la suma de todas las partes de la cadena, desde el reconocimiento de voz, el TTFT del LLM y el TTS hasta el TTFA y todas las transmisiones de red entre fases. Al hablar de la latencia de la IA conversacional en conjunto, esta es la métrica que percibe el usuario.

Cuando hable, tendrá que esperar al TTFA de extremo a extremo antes de escuchar cualquier respuesta de tu agente. Es una medida global, lo que significa que mejorar cualquier parte de la cadena la mejorará.

Por qué importa la latencia de la IA conversacional

Cuando un usuario habla con tu agente de IA, la latencia se convierte en un factor clave de su percepción de la experiencia. Los tiempos de latencia bajos reducen la espera para recibir una respuesta, ayudan a que la conversación resulte natural y hacen que tu agente parezca más competente.

Los agentes con una latencia alta parecen artificiales y menos competentes, aunque la calidad de sus respuestas sea la misma. Para las empresas, incluso una diferencia de unos pocos cientos de ms puede parecer una eternidad y hacer que tu agente de atención al cliente resulte torpe e ineficaz.

Estos escenarios muestran por qué importa en la práctica la latencia de la IA conversacional:

• Menos de 500 ms: Un agente conversacional parece ágil y responde con fluidez. Puede que los usuarios no detecten el retraso entre dejar de hablar y recibir la primera respuesta, lo que permite que la conversación fluya sin problemas.
• De 500 ms a 1000 ms: El retraso entre el momento en que un usuario deja de hablar y recibe una respuesta puede empezar a notarse. Es ligeramente demasiado largo, por lo que los usuarios pueden intentar anticiparse repitiéndose o haciendo una pausa para comprobar si el agente les ha entendido realmente.
• Más de 1000 ms: Los retrasos empiezan a parecer lentos, con pausas que hacen que algunos usuarios sientan que el agente de IA no sigue del todo el ritmo de la conversación. Las transcripciones pueden mostrar interrupciones ocasionales o solicitudes para hablar con un agente humano. En algunos casos, los usuarios pueden abandonar la llamada.

Cada uno de estos umbrales se traduce en resultados reales para tu empresa.

En el extremo más bajo del espectro de latencia, tendrás un agente de atención al cliente capaz de responder con naturalidad a las preguntas y ayudar a los usuarios a resolver sus consultas sin ayuda adicional. Esto reduce la carga de tus agentes humanos y mantiene alta la satisfacción de clientes. En el extremo más alto, frustrarás a clientes con un agente que parece dudar durante demasiado tiempo.

En otro artículo hemos definido las referencias del presupuesto de latencia para agentes de voz para mostrar cómo es una buena latencia tanto en valores P50 como P95.

¿Qué provoca la latencia de la IA conversacional?

La latencia de la IA conversacional es un término que resume varios procesos, y cada segmento contribuye al total. Por eso, lograr una baja latencia es más un problema a nivel de sistema que algo que se resuelva simplemente eligiendo un modelo mejor. Al fin y al cabo, en la cadena interactúan varios modelos.

Para desarrolladores, hemos preparado una guía técnica detallada sobre optimización de la latencia de agentes de voz que puedes usar para mejorar cada fase del tiempo de extremo a extremo hasta el primer audio (TTFA).

Más allá de la cadena principal, otros factores como la telefonía y las llamadas a funciones también añaden latencia, aunque no formen parte de la infraestructura interna del modelo.

Aquí tienes una visión general de todos los factores que contribuyen a la latencia de la IA conversacional.

Reconocimiento automático de voz

La latencia del reconocimiento de voz no es el tiempo que se tarda en generar una transcripción. El proceso de transcripción se ejecuta en segundo plano mientras habla el usuario, por lo que, cuando termina de hablar, el texto ya está prácticamente listo.

En este caso, la latencia es el intervalo entre el final del habla y el momento en que se finaliza la transcripción y se envía a la siguiente fase. Scribe v2 Realtime reduce este intervalo a aproximadamente 150 ms, transmitiendo de forma continua para que el resultado esté listo en cuanto termina el turno.

Gestión de turnos y detección del final de intervención

Un detector de actividad de voz (VAD) se sitúa entre el reconocimiento de voz y el modelo de lenguaje. Su función es decidir cuándo el usuario ha terminado realmente de hablar.

Para evitar errores, el VAD espera un umbral de silencio sostenido antes de declarar que el turno ha terminado, y esa espera añade latencia antes de que el modelo de lenguaje procese una palabra. Esa pequeña latencia adicional suma tiempo, pero también evita que el sistema empiece a responder mientras el usuario sigue hablando.

Técnicamente, si todos los demás componentes de la IA conversacional tuvieran una latencia nula, la latencia atribuida a la gestión de turnos sería positiva. Las personas se toman un momento antes de responder. Que una máquina haga una pausa similar aporta realismo a la interacción. Sin embargo, como los demás componentes de la IA conversacional ya añaden latencia, lo ideal es minimizarla.

Procesamiento del modelo de lenguaje

Cuando la transcripción está lista en el motor de voz a texto (STT), el modelo de lenguaje genera una respuesta. La latencia aquí es el tiempo que tarda en empezar a generar tokens, no en generar la respuesta completa. Estos tokens se transmiten directamente a la fase de TTS a medida que llegan, así que lo más importante es el TTFT.

Además de la elección del modelo, tanto la longitud del prompt como el tamaño de la base de conocimiento afectan a esta fase. Cuanto más contexto tenga que considerar el LLM, más tardará. Al diseñar estos sistemas a escala, debes encontrar el equilibrio adecuado entre una base de conocimiento útil y un prompt conciso para mantener la rapidez.

Síntesis de voz

La latencia de TTS es el tiempo entre recibir los primeros tokens del modelo de lenguaje y el inicio del audio. Como los tokens llegan más rápido de lo que se reproduce el habla humana, el modelo de síntesis nunca espera la respuesta completa. La latencia de TTS es estrictamente el tiempo hasta el primer fragmento de audio.

Esta fase solía ser la que más contribuía por sí sola a la latencia de la IA conversacional: los modelos antiguos tardaban entre 2 y 3 segundos en empezar a generar voz. Flash v2.5 de ElevenLabs aborda este problema directamente, con síntesis de voz y una latencia de unos 75 ms que reduce ese cuello de botella de varios segundos a una fracción de segundo.

Latencia de red

Enviar datos de un lugar a otro siempre añade latencia, y la distancia geográfica no hace más que aumentar la latencia de ida y vuelta de la red.

Como varios componentes trabajan juntos para generar una respuesta de extremo a extremo, puede acumularse una latencia considerable a lo largo de varios saltos de red.

Llamadas a funciones

Las llamadas a funciones añaden viajes de ida y vuelta a la API en la fase del LLM. Una consulta interna rápida añade decenas de milisegundos, mientras que un procesador de pagos o un sistema de inventario podría añadir segundos. La cantidad de latencia depende por completo del servicio al que se llama, lo que convierte esta fase en la más difícil de optimizar directamente.

El patrón más eficaz es indicar al LLM que responda antes de que termine la llamada a la herramienta. Una frase como «Déjame comprobarlo» mantiene al usuario implicado mientras se resuelve la llamada externa, en lugar de dejar un silencio. La respuesta de voz empieza mientras la herramienta se ejecuta en paralelo.

Cómo reducir la latencia de la IA conversacional

Reducir la latencia de la IA conversacional exige abordar cada fase de la cadena según su impacto. Aunque cada mejora individual influye en la latencia, tendrás que trabajar en toda la cadena de forma integral para conseguir el mayor cambio.

Estos principios pueden ayudarte a reducir la latencia de la IA conversacional a alto nivel:

• Selección del modelo de TTS: Los modelos de TTS optimizados para la velocidad, como Flash v2.5, utilizan arquitecturas diferentes de los modelos optimizados para la calidad, como Eleven v3. Para los agentes de voz en tiempo real, la opción adecuada es el modelo de mayor calidad que cumpla tu objetivo de latencia, que casi siempre será uno optimizado para la velocidad.
• Selección del modelo LLM: Los LLM más pequeños y rápidos suelen generar un tiempo hasta el primer token menor que los modelos más grandes. Elegir el LLM más rápido que siga cumpliendo tu nivel de calidad para la tarea importa tanto como elegir el modelo de TTS.
• Transmisión en streaming: El TTS en streaming devuelve el audio en fragmentos a medida que avanza la síntesis, de modo que el usuario escucha la primera palabra mientras el modelo sigue generando el resto. Este concepto también se aplica a la salida del LLM: iniciar la síntesis de TTS con la primera frase mientras el modelo de lenguaje genera las siguientes permite recuperar latencia de la cadena.
• Diseño del prompt del sistema: Los usuarios pueden simplificar los prompts del sistema trasladando instrucciones a procedimientos o workflows, en lugar de mantenerlas en cada paso de decisión. Así se reduce la cantidad de contexto sobre la que el modelo debe razonar en cada turno.
• Medidas de protección: Ejecutar las medidas de protección en el modelo de streaming permite que la salida empiece a reproducirse antes de que finalice la comprobación, en lugar de bloquear la reproducción hasta que termine.
• Ubicación conjunta de modelos: Usar modelos ubicados conjuntamente cuando sea posible, como en la plataforma de Agents de ElevenLabs, mantiene los componentes cerca para que la latencia no aumente por los saltos entre modelos alojados por separado.
• Ubicación geográfica: La proximidad entre tus servidores y tus usuarios puede reducir significativamente la latencia, ya que disminuye directamente la contribución de la red al TTFA de extremo a extremo.

Además de estos factores, puedes consultar esta guía técnica sobre cómo optimizar la latencia para obtener más detalles.

Empieza con IA conversacional de baja latencia en ElevenAgents

La latencia de la IA conversacional es un factor muy importante al crear e implementar agentes. Con ElevenAgents, la optimización de la latencia forma parte del proceso. Desde técnicas de solapamiento para recuperar tiempo hasta una baja latencia de inferencia en los componentes individuales, ElevenAgents crea sistemas de IA conversacional de baja latencia para tu empresa.

Al final, el objetivo es crear una experiencia realista. El usuario debe sentir la facilidad de hablar con una persona y, al mismo tiempo, obtener las ventajas de un programa informático. Al optimizar los subprocesos, ahora es posible.

Descubre más información sobre ElevenAgents o contacta con ventas para empezar hoy mismo.

Preguntas frecuentes sobre la latencia de la IA conversacional