Was ist Latenz bei Conversational KI und was beeinflusst sie?

Bei Conversational KI entscheidet die Latenz darüber, ob Anwendungen gut oder großartig sind.

Conversational KI ist von Natur aus ambitioniert. Sie soll sich wie ein Gespräch mit einem Menschen anfühlen und dabei dessen emotionale Bandbreite, Tonhöhe und Sprachrhythmus nachbilden. Berücksichtigt man zudem die Verzögerung zwischen dem Ende Ihrer Äußerung und dem Beginn der Antwort eines KI-Agenten, die sich „natürlich“ anfühlt, ergibt sich ein Latenzziel, das auf menschlicher Kommunikation basiert.

Unternehmen, die Conversational-KI-Agenten im großen Maßstab einsetzen möchten, müssen diese Latenz so weit wie möglich reduzieren, um diese natürliche Illusion zu erzeugen. Dieser Artikel erklärt, was Latenz bei Conversational KI ist, wodurch Verzögerungen entlang der gesamten Pipeline entstehen und wie Sie sie reduzieren können.

Zusammenfassung

• Die Latenz bei Conversational KI ist die gesamte End-to-End-Verzögerung vom Ende der Nutzereingabe bis zum ersten hörbaren Wort des Agenten.
• Agenten mit mehr als 700 ms können unnatürlich wirken. Bei über 1.200 ms sind die Abbruchraten hoch.
• Latenz summiert sich über jede Stufe der Conversational-KI-Pipeline.
• ElevenAgents verarbeitet die gesamte Pipeline in einer einheitlichen Architektur und macht Conversational KI mit niedriger Latenz für Ihr Unternehmen zugänglich.

Was ist Latenz bei Conversational KI?

Die Latenz bei Conversational KI beschreibt die gesamte Zeit, die ein System nach Ihrer Äußerung für eine Antwort benötigt. Bei modernen KI-Modellen wird Latenz in ms gemessen. Hinter diesem Gesamtwert stehen mehrere einzelne Prozesse, die jeweils einen Teil der End-to-End-Pipeline bilden.

Eine typische Conversational-KI-Pipeline sieht so aus:

1. Ein Nutzer spricht
2. Das Audio wird von einem Speech-to-Text-Modell transkribiert
3. Das Transkript wird an ein LLM übergeben, das eine Antwort erzeugt
4. Der Text des LLM wird dann mit einem Text-to-Speech-Modell in Audio umgewandelt
5. Das Audio wird dem Nutzer vorgespielt

Jede dieser Stufen erhöht die Latenz eines Conversational-KI-Systems. Deshalb sollten bei der Diskussion über Latenz einige Begriffe klar unterschieden werden.

Modell-Inferenzlatenz

Die Modell-Inferenzlatenz ist die Zeit, die ein Modell intern für die Ausgabeerzeugung benötigt, ohne externe Faktoren. Sie zeigt modellspezifisch, wie schnell Ihre Engine bei typischen Eingaben arbeitet. Flash v2.5 hat beispielsweise eine Modell-Inferenzlatenz von etwa 75 ms. So können Sie die Geschwindigkeit von Modellen verschiedener Anbieter vergleichen.

Beachten Sie jedoch: Dies ist nicht die Latenz, die Nutzer tatsächlich wahrnehmen. Sie bezieht sich ausschließlich auf die Zeit, die ein Modell für die Ausgabeerzeugung benötigt.

LLM Time-to-First-Token

Die Time-to-First-Token (TTFT) eines Large Language Model (LLM) ist die Gesamtzeit, die ein LLM benötigt, um einen Prompt zu verarbeiten und das erste nutzbare Ausgabe-Token zu erzeugen.

Die TTS-Generierung beginnt, sobald das erste Token von Ihrem LLM eintrifft. Dieser Wert zeigt also, wie lange das LLM braucht, um Ihr TTS-Modell zu starten. Bei den meisten End-to-End-Systemen für Conversational KI macht die LLM-TTFT einen erheblichen Teil der Gesamtlatenz aus.

TTS Time-to-First-Audio (TTFA)

TTS Time-to-First-Audio (TTFA) misst die Zeit von der ersten TTS-Anfrage bis zu dem Moment, in dem der erste Audio-Chunk das Modell verlässt. Damit lässt sich die Modell-Inferenzlatenz speziell für TTS-Engines beschreiben.

End-to-End Time-to-First-Audio (TTFA)

Die End-to-End-TTFA ist die gesamte Latenz bei Conversational KI. Sie ist die Summe aller Teile der Pipeline: Spracherkennung, LLM-TTFT, TTS, TTFA und aller Netzwerkübertragungen zwischen den Schritten. Bei der Latenz von Conversational KI insgesamt ist dies die Kennzahl, die Nutzer wahrnehmen.

Nach dem Sprechen warten Nutzer auf die End-to-End-TTFA, bevor sie eine Antwort Ihres Agenten hören. Sie ist eine ganzheitliche Kennzahl: Jede Verbesserung in der Pipeline verbessert sie.

Warum Latenz bei Conversational KI wichtig ist

Wenn Nutzer mit Ihrem KI-Agenten sprechen, ist die Latenz ein zentraler Faktor für ihre Wahrnehmung der Erfahrung. Niedrige Latenzen verkürzen die Wartezeit auf Antworten. Gespräche wirken dadurch natürlicher und Ihr Agent kompetenter.

Agenten mit hoher Latenz wirken künstlich und weniger kompetent, selbst wenn die Qualität ihrer Antworten gleich ist. Für Unternehmen können schon wenige 100 ms wie eine Ewigkeit wirken und Ihren Kundensupport-Agenten umständlich und ineffektiv erscheinen lassen.

Diese Szenarien zeigen, warum die Latenz bei Conversational KI in der Praxis wichtig ist:

• Unter 500 ms: Ein Conversational Agent wirkt reaktionsschnell und effizient. Nutzer bemerken die Verzögerung zwischen dem Ende ihrer Äußerung und der ersten Antwort möglicherweise nicht. Das Gespräch verläuft flüssig.
• 500 ms bis 1.000 ms: Die Verzögerung zwischen dem Ende der Nutzereingabe und der Antwort wird spürbar. Sie ist leicht zu lang. Nutzer könnten sich wiederholen oder pausieren, um zu prüfen, ob der Agent sie tatsächlich verstanden hat.
• Über 1.000 ms: Verzögerungen wirken langsam. Pausen können Nutzern das Gefühl geben, dass der KI-Agent dem Gespräch nicht vollständig folgt. Transkripte können gelegentliche Unterbrechungen oder Bitten enthalten, mit einem menschlichen Agenten zu sprechen. In manchen Fällen brechen Nutzer den Anruf ab.

Jeder dieser Schwellenwerte wirkt sich direkt auf Geschäftsergebnisse aus.

Am unteren Ende des Latenzspektrums kann ein Kundenservice-Agent eingehende Fragen natürlich beantworten und Nutzern bei ihren Anliegen helfen, ohne zusätzliche Unterstützung zu benötigen. Das entlastet Ihre menschlichen Agenten und hält die Kundenzufriedenheit hoch. Am oberen Ende frustrieren Sie Kunden mit einem Agenten, der scheinbar viel zu lange zögert.

In einem anderen Artikel haben wir die Benchmarks für das Latenzbudget von Voice Agents definiert. Sie zeigen, wie gute Latenz bei P50- und P95-Werten aussieht.

Was verursacht Latenz bei Conversational KI?

Latenz bei Conversational KI fasst mehrere Prozesse zusammen, wobei jeder Abschnitt zum Gesamtwert beiträgt. Der Engpass für niedrige Latenz ist daher eher ein Problem auf Systemebene als eines, das sich allein durch die Wahl eines besseren Modells lösen lässt. Schließlich interagieren mehrere Modelle in der Pipeline.

Für Entwickler haben wir einen ausführlichen technischen Leitfaden zur Optimierung der Voice-Agent-Latenz erstellt. Damit können Sie jede Stufe der End-to-End Time-to-First-Audio (TTFA) verbessern.

Neben der Kernpipeline erhöhen auch weitere Faktoren wie Telefonie und Function Calling die Latenz, obwohl sie nicht Teil der Modellinfrastruktur sind.

Hier finden Sie einen Überblick über alle Faktoren, die zur Latenz bei Conversational KI beitragen.

Automatische Spracherkennung

Die Latenz der Spracherkennung ist nicht die Zeit, die zur Erstellung eines Transkripts benötigt wird. Die Transkription läuft im Hintergrund, während der Nutzer spricht. Wenn die Äußerung endet, ist der Text daher größtenteils bereits verfügbar.

Die Latenz entsteht hier durch die Lücke zwischen dem Ende der Äußerung und dem Abschluss sowie der Übergabe des Transkripts an die nächste Stufe. Scribe v2 Realtime reduziert diese Lücke auf etwa 150 ms. Es streamt kontinuierlich, sodass die Ausgabe bereitsteht, sobald der Gesprächszug endet.

Turn-Taking und Endpointing

Ein Voice Activity Detector (VAD) sitzt zwischen Spracherkennung und Sprachmodell. Seine Aufgabe ist es zu entscheiden, wann der Nutzer tatsächlich aufgehört hat zu sprechen.

Um Fehler zu vermeiden, wartet der VAD auf eine bestimmte Dauer anhaltender Stille, bevor er den Gesprächszug als beendet einstuft. Diese Wartezeit erhöht die Latenz, bevor das Sprachmodell ein Wort verarbeitet. Sie verursacht zwar zusätzliche Latenz, verhindert aber auch, dass das System antwortet, während der Nutzer noch spricht.

Technisch gesehen wäre die dem Turn-Taking zugerechnete Latenz sinnvoll, wenn alle anderen Komponenten der Conversational KI keine Latenz verursachen würden. Menschen warten kurz, bevor sie auf Gesprochenes reagieren. Eine ähnliche Pause durch eine Maschine verleiht der Interaktion Realismus. Da andere Komponenten von Conversational KI jedoch bereits Latenz verursachen, ist minimale Latenz ideal.

Verarbeitung durch das Sprachmodell

Sobald das Transkript von der Speech-to-Text-Engine (STT) bereitsteht, erzeugt das Sprachmodell eine Antwort. Die Latenz ist hier die Zeit bis zum Beginn der Token-Generierung, nicht bis zur vollständigen Antwort. Diese Tokens werden direkt beim Eintreffen an die TTS-Stufe gestreamt. Entscheidend ist daher die TTFT.

Neben der Modellwahl beeinflussen auch die Prompt-Länge und die Größe der Wissensdatenbank diese Stufe. Je mehr Kontext das LLM berücksichtigen muss, desto länger dauert es. Beim Aufbau solcher Systeme im großen Maßstab sollten Sie eine ausgewogene Wissensdatenbank mit einem schlanken Prompt kombinieren, um die Geschwindigkeit hoch zu halten.

Sprachsynthese

Die TTS-Latenz ist die Zeit zwischen dem Empfang der ersten Tokens vom Sprachmodell und dem Beginn der Audioausgabe. Da Tokens schneller eintreffen, als menschliche Sprache wiedergegeben wird, wartet das Synthesemodell nie auf die vollständige Antwort. TTS-Latenz ist ausschließlich die Zeit bis zum ersten Audio-Chunk.

Diese Stufe war früher der größte einzelne Faktor für die Latenz bei Conversational KI. Ältere Modelle benötigten 2 bis 3 Sekunden, bevor sie Sprache erzeugten. ElevenLabs’ Flash v2.5 löst dieses Problem direkt: Mit einer Latenz von etwa 75 ms liefert es Sprachsynthese und reduziert diesen Engpass von Sekunden auf einen Bruchteil einer Sekunde.

Netzwerklatenz

Die Übertragung von Daten von einem Ort zu einem anderen verursacht immer Latenz. Große geografische Entfernungen erhöhen die Netzwerk-Round-Trip-Latenz zusätzlich.

Da mehrere Komponenten für eine End-to-End-Antwort zusammenarbeiten, kann sich über mehrere Netzwerk-Hops hinweg erhebliche Latenz ansammeln.

Function Calling

Function Calls fügen in der LLM-Stufe API-Round-Trips hinzu. Ein schneller interner Lookup benötigt einige zehn Millisekunden, während ein Zahlungsdienstleister oder Warenwirtschaftssystem Sekunden benötigen kann. Die Latenz hängt vollständig vom aufgerufenen Service ab. Das macht diese Stufe am schwierigsten direkt zu optimieren.

Am effektivsten ist es, das LLM zu einer Antwort zu veranlassen, bevor der Tool-Aufruf abgeschlossen ist. Ein Satz wie „Ich prüfe das für Sie“ bindet Nutzer ein, während der externe Aufruf verarbeitet wird, statt Stille entstehen zu lassen. Die Sprachantwort beginnt, während das Tool parallel läuft.

So reduzieren Sie die Latenz bei Conversational KI

Um die Latenz bei Conversational KI zu reduzieren, müssen Sie jede Stufe der Pipeline nach ihrem Einfluss angehen. Einzelne Verbesserungen wirken sich zwar auf die Latenz aus, doch die größte Veränderung erzielen Sie nur mit einer ganzheitlichen Optimierung der gesamten Pipeline.

Diese Grundsätze helfen Ihnen, die Latenz bei Conversational KI zu reduzieren:

• Auswahl des TTS-Modells: Auf Geschwindigkeit optimierte TTS-Modelle wie Flash v2.5 verwenden andere Architekturen als qualitätsoptimierte Modelle wie Eleven v3. Für Echtzeit-Voice Agents ist die beste Wahl das Modell mit der höchsten Qualität, das Ihr Latenzziel erfüllt. Das ist fast immer ein geschwindigkeitsoptimiertes Modell.
• Auswahl des LLM-Modells: Kleinere, schnellere LLMs erzielen in der Regel eine niedrigere Time-to-First-Token als größere Modelle. Die Auswahl des schnellsten LLM, das Ihre Qualitätsanforderungen für die Aufgabe erfüllt, ist genauso wichtig wie die Wahl des TTS-Modells.
• Streaming: Streaming-TTS gibt Audio in Chunks zurück, während die Synthese läuft. Nutzer hören daher das erste Wort, während das Modell den Rest noch erzeugt. Das gleiche Prinzip gilt für die LLM-Ausgabe: Beginnt die TTS-Synthese mit dem ersten Satz, während das Sprachmodell die folgenden Sätze erstellt, lässt sich Latenz in der Pipeline einsparen.
• Design des System-Prompts: Nutzer können System-Prompts verschlanken, indem sie Anweisungen in Prozesse oder Workflows auslagern, statt sie in jedem Entscheidungsschritt zu behalten. So reduziert sich die Kontextmenge, über die das Modell bei jedem Gesprächszug nachdenken muss.
• Guardrails: Wenn Guardrails im Streaming-Modell ausgeführt werden, kann die Ausgabe beginnen, bevor die Guardrail-Prüfung abgeschlossen ist. So wird die Wiedergabe nicht bis zum Ende der Prüfung blockiert.
• Modell-Kollokation: Kollokierte Modelle, etwa im ElevenLabs Agents Stack, halten Komponenten räumlich nah beieinander. So entsteht keine zusätzliche Latenz durch Hops zwischen separat gehosteten Modellen.
• Geografie: Eine geringe Entfernung zwischen Ihren Servern und Ihren Nutzern kann die Latenz deutlich reduzieren, da sie den Netzwerkanteil an der End-to-End-TTFA direkt verringert.

Weitere Details finden Sie in diesem technischen Leitfaden zur Latenzoptimierung.

Starten Sie mit Conversational KI mit niedriger Latenz auf ElevenAgents

Die Latenz bei Conversational KI ist ein entscheidender Faktor beim Aufbau und Einsatz von Agenten. Mit ElevenAgents ist die Latenzoptimierung direkt integriert. Von Überlappungstechniken zur Verkürzung der Wiederaufnahmezeit bis hin zu niedriger Modell-Inferenzlatenz einzelner Komponenten erstellt ElevenAgents Conversational-KI-Stacks mit niedriger Latenz für Ihr Unternehmen.

Letztlich geht es darum, Realismus zu schaffen. Nutzer sollen den Komfort eines Gesprächs mit einem Menschen erleben und gleichzeitig von den Vorteilen eines Computerprogramms profitieren. Durch die Optimierung der einzelnen Teilprozesse ist das heute möglich.

Erfahren Sie mehr über ElevenAgents oder kontaktieren Sie den Vertrieb, um noch heute zu starten.

FAQ zur Latenz bei Conversational KI