会話型AIのレイテンシーとは？影響する要因を解説

会話型AIでは、会話型AIにおいて、レイテンシーが良いアプリケーションと優れたアプリケーションを分けます。

会話型AIは、本質的に人との会話と同じ感覚を再現することを目指しています。感情の幅、声の高さ、話すリズムまで人間らしく再現します。さらに、話し終えてからAIエージェントが応答を始めるまでの「自然な」間を加えると、人間が実際にどのように会話するかに基づいたレイテンシーの目標が見えてきます。

大規模に会話型AIエージェントを導入したい企業は、自然な会話体験を実現するために、レイテンシーを可能な限り抑える必要があります。この記事では、会話型AIのレイテンシーとは何か、パイプライン全体で遅延が発生する原因、そして遅延を減らす方法の概要を解説します。

概要

• 会話型AIのレイテンシーとは、ユーザーが話し終えてからエージェントの最初の言葉が聞こえるまでの、エンドツーエンドの総遅延時間です。
• 700msを超えるエージェントは不自然に感じられる場合があり、1,200msを超えると離脱率が高くなります。
• レイテンシーは、会話型AIパイプラインのすべての段階で積み重なります。
• ElevenAgentsは、単一の統合アーキテクチャでパイプライン全体を処理し、ビジネスで低レイテンシーの会話型AIを活用しやすくします。

会話型AIのレイテンシーとは？

会話型AIのレイテンシーとは、話した後にシステムが応答するまでにかかる合計時間のことです。最新のAIモデルでは、レイテンシーはms単位で測定されます。内部では、レイテンシーの合計値はいくつもの個別プロセスで構成され、それぞれがエンドツーエンドのパイプラインの一部を担っています。

一般的な会話型AIパイプラインは、次のような流れです。

1. ユーザーが話す
2. スピーチtoテキストモデルがオーディオを文字起こしする
3. 文字起こしデータがLLMに渡され、応答が生成される
4. LLMのテキストは、その後テキスト読み上げモデルでオーディオに合成される
5. オーディオがユーザーに再生される

これらの段階はすべて、会話型AIシステムにレイテンシーを加えます。そのため、レイテンシーを議論する際には、いくつかの略語を区別する必要があります。

モデル推論レイテンシー

モデル推論レイテンシーとは、モデルが出力を生成するために費やす時間です。内部で測定され、外部要因は含まれません。一般的な入力に対してエンジンがどれだけ速く処理するかを示す、モデル固有の指標です。たとえば、Flash v2.5のモデル推論レイテンシーは約75msです。これにより、競合他社を含むモデル間の速度を比較できます。

ただし、これはユーザーが実際に体感するレイテンシーではありません。あくまで、モデルが出力生成に費やす合計時間を示す指標です。

LLMの最初のトークン生成時間

大規模言語モデル（LLM）の最初のトークン生成時間（TTFT）とは、大規模言語モデルがプロンプトを処理し、使用可能な最初の出力トークンを生成するまでにかかる合計時間です。

TTSの生成は、LLMから最初のトークンが届いた時点で始まります。そのため、これはLLMがTTSモデルの実行を開始させるまでにかかる時間を示します。多くのエンドツーエンド会話型AIシステムでは、LLMのTTFTが総レイテンシーの大きな部分を占めます。

TTSの最初のオーディオ生成時間（TTFA）

TTSの最初のオーディオ生成時間（TTFA）は、最初のTTSリクエストから最初のオーディオチャンクが実際にモデルから出力されるまでの時間を測定します。モデル推論レイテンシーを表す指標の一つですが、TTSエンジンに特化したものです。

エンドツーエンドの最初のオーディオ生成時間（TTFA）

エンドツーエンドTTFAは、会話型AIにおける総レイテンシーです。音声認識、LLMのTTFT、TTS、TTFA、各ステップ間のすべてのネットワーク送信など、パイプラインのすべての要素を合計したものです。会話型AIのレイテンシー全体を考える際、ユーザーが体感するのはこの指標です。

ユーザーが話した後、エージェントから何らかの応答を聞くまで、エンドツーエンドTTFAの間待つことになります。これは包括的な指標であり、パイプラインのどの部分を改善しても向上します。

会話型AIのレイテンシーが重要な理由

ユーザーがAIエージェントと話すとき、レイテンシーはその体験の印象を左右する重要な要素になります。レイテンシーが低いほど応答までの待ち時間が短くなり、会話が自然に感じられ、エージェントも有能に見えます。

レイテンシーが高いエージェントは、応答の品質が同じでも人工的で能力が低いように感じられます。ビジネスでは、わずか数百msの差でも非常に長く感じられ、カスタマーサポートエージェントがぎこちなく、効果的でない印象を与えることがあります。

会話型AIのレイテンシーが実際に重要となる理由を、いくつかのシナリオで見てみましょう。

• 500ms未満：会話エージェントは、応答性が高くスムーズに感じられます。ユーザーは話し終えてから最初の応答を受け取るまでの遅延に気づかないこともあり、会話が自然に流れます。
• 500ms～1,000ms：ユーザーが話し終えてから応答を受け取るまでの遅延が、はっきりと感じられるようになります。わずかに長すぎるため、ユーザーはエージェントが理解したかを確かめようとして、先回りして同じことを繰り返したり、間を置いたりする可能性があります。
• 1,000ms超：遅延が遅く感じられ始め、会話についていけていないような間が生じます。文字起こしには、時折の割り込みや人間のエージェントへの切り替え要求が現れることがあります。場合によっては、ユーザーが通話を途中でやめることもあります。

これらのしきい値はすべて、実際のビジネス成果に直結します。

レイテンシースペクトラムの低い側では、カスタマーサービスエージェントが自然に問い合わせに対応し、追加の支援なしでユーザーの問題解決をサポートできます。人間のエージェントの負担を軽減し、顧客満足度を高く保てます。一方、レイテンシーが高い側では、応答までに長くためらうように見えるエージェントが顧客をいら立たせます。

別の記事では、音声エージェントのレイテンシー予算ベンチマークを定義し、P50とP95の両方の値で良好なレイテンシーがどの程度かを紹介しています。

会話型AIのレイテンシーは何が原因？

会話型AIのレイテンシーは、複数の異なるプロセスをまとめた用語であり、各セグメントが全体に影響します。そのため、低レイテンシーのボトルネックは、より優れたモデルを選ぶだけでは解決できないシステムレベルの課題です。実際には、複数のモデルがパイプラインで連携しています。

デベロッパー向けに、音声エージェントのレイテンシー最適化に関する詳細な技術ガイドを用意しています。エンドツーエンドの最初のオーディオ生成時間（TTFA）のすべての段階を改善できます。

コアパイプライン以外にも、テレフォニーや関数呼び出しといった要因は、モデルインフラストラクチャ内部のものではないものの、レイテンシーを加えます。

会話型AIのレイテンシーに影響するすべての要因を見てみましょう。

自動音声認識

音声認識のレイテンシーは、文字起こしの生成にかかる時間ではありません。文字起こし処理はユーザーの発話中にバックグラウンドで進むため、発話が終わる頃にはテキストはほぼ準備できています。

ここでのレイテンシーは、発話終了から文字起こしが確定し、次の段階に渡されるまでの間隔です。Scribe v2 Realtimeはこの間隔を約150msまで短縮し、継続的にストリーミングすることで、話者交替の瞬間に出力を準備します。

ターンテイキングとエンドポイント検出

音声アクティビティ検出器（VAD）は、音声認識と言語モデルの間に配置されます。その役割は、ユーザーが実際に話し終えたタイミングを判断することです。

誤判定を避けるため、VADは発話ターンの終了を判定する前に、一定時間の継続した無音を待ちます。この待機時間が、言語モデルが単語を処理する前のレイテンシーとして加わります。わずかな追加レイテンシーではありますが、ユーザーがまだ話している間にシステムが応答を始めることを防ぎます。

技術的には、他の会話型AIコンポーネントのレイテンシーがすべてゼロなら、ターンテイキングによるレイテンシーは望ましいものです。人間も発話に応答する前に少し間を置きます。機械が同様に間を置くことで、やり取りにリアリティが生まれます。ただし、会話型AIの他のコンポーネントですでにレイテンシーが発生しているため、最小限のレイテンシーが理想的です。

言語モデルの処理

文字起こしデータがスピーチtoテキスト（STT）エンジンから準備されると、言語モデルが応答を生成します。ここでのレイテンシーは、応答全体の生成時間ではなく、トークンの生成を開始するまでの時間です。トークンは到着次第TTS段階へ直接ストリーミングされるため、最も重要なのはTTFTです。

モデルの選択以外にも、プロンプトの長さとナレッジベースの規模がこの段階に影響します。LLMが考慮すべきコンテキストが多いほど、処理時間は長くなります。これらのシステムを大規模に設計する際は、役立つナレッジベースと簡潔なプロンプトの適切なバランスを取ることで、高速性を維持できます。

音声合成

TTSのレイテンシーは、言語モデルから最初のトークンを受け取ってからオーディオが始まるまでの時間です。トークンは人間の発話の再生速度より速く届くため、音声合成モデルは応答全体を待つ必要がありません。TTSレイテンシーは、厳密には最初のオーディオチャンクが生成されるまでの時間です。

以前はこの段階が会話型AIのレイテンシーに最も大きく影響しており、古いモデルでは音声生成の開始までに2～3秒かかっていました。ElevenLabsのFlash v2.5はこの課題に直接対応し、約75msのレイテンシーで音声合成を提供することで、数秒単位だったボトルネックを1秒未満へと短縮します。

ネットワークレイテンシー

データをある場所から別の場所へ送信すると、必ずレイテンシーが発生します。地理的な距離が離れるほど、ネットワークの往復レイテンシーは大きくなります。

エンドツーエンドの応答には複数のコンポーネントが連携するため、複数のネットワークホップを通じて大きなレイテンシーが蓄積する可能性があります。

関数呼び出し

関数呼び出しでは、LLMの段階でAPIの往復通信が追加されます。高速な内部検索なら数十msで済みますが、決済処理システムや在庫管理システムでは数秒かかる場合があります。レイテンシーは呼び出すサービスに完全に依存するため、この段階は直接最適化するのが最も難しい部分です。

最も効果的なのは、ツール呼び出しが完了する前にLLMが応答するようプロンプトで指示するパターンです。「確認しますね」のようなフレーズを使えば、外部呼び出しの完了を待つ間もユーザーの関心を維持でき、無音の時間を避けられます。ツールを並行して実行している間に、音声応答を開始できます。

会話型AIのレイテンシーを減らす方法

会話型AIのレイテンシーを減らすには、影響の大きい順にパイプラインの各段階へ対処する必要があります。個別の改善もレイテンシーに影響しますが、最大の改善を得るにはパイプライン全体を包括的に最適化する必要があります。

会話型AIのレイテンシーを大きく減らす際の指針をいくつか紹介します。

• TTSモデルの選択：Flash v2.5のように速度に最適化されたTTSモデルは、Eleven v3のように品質に最適化されたモデルとは異なるアーキテクチャを使用します。リアルタイムの音声エージェントでは、レイテンシー目標を満たす最高品質のモデルを選ぶことが重要です。ほとんどの場合、それは速度に最適化されたモデルになります。
• LLMモデルの選択：一般に、小型で高速なLLMは、大型モデルよりも最初のトークン生成時間が短くなります。タスクに求める品質基準を満たす中で最速のLLMを選ぶことは、TTSモデルの選択と同じくらい重要です。
• ストリーミング：ストリーミングTTSでは、合成の進行に合わせてオーディオがチャンク単位で返されるため、モデルが残りの音声を生成している間に、ユーザーは最初の言葉を聞けます。この考え方はLLMの出力にも当てはまります。言語モデルが後続の文を生成している間に、最初の文からTTS合成を始めることで、パイプラインのレイテンシーを短縮できます。
• システムプロンプトの設計：ユーザーは、システムプロンプトを簡潔にするために、すべての判断ステップに指示を含めるのではなく、手順やワークフローへ移すことができます。これにより、各ターンでモデルが推論する必要のあるコンテキスト量を減らせます。
• ガードレール：ガードレールをストリーミングモデルで実行すると、チェックの完了まで再生を止めるのではなく、ガードレールチェックが終わる前に出力の再生を開始できます。
• モデルのコロケーション：ElevenLabs Agentsスタックのように、可能な場合はモデルを同じ場所に配置することで、コンポーネント同士を近くに保てます。別々にホストされたモデル間のホップによるレイテンシーを回避できます。
• 地理的配置：サーバーをユーザーの近くに配置することで、レイテンシーを大幅に削減できます。これにより、エンドツーエンドTTFAにおけるネットワーク由来の遅延を直接減らせます。

これらの要因に加えて、レイテンシー最適化に関する技術ガイドでさらに詳しく解説しています。

ElevenAgentsで低レイテンシーの会話型AIを始める

会話型AIのレイテンシーは、エージェントの構築・導入において非常に重要な検討事項です。ElevenAgentsでは、レイテンシー最適化がプロセスに組み込まれています。処理時間を短縮するオーバーラップ技術から、個々のコンポーネントにおける低いモデル推論レイテンシーまで、ElevenAgentsはビジネス向けに低レイテンシーの会話型AIスタックを構築します。

最終的な目標は、リアリティを生み出すことです。ユーザーは、コンピュータープログラムの利点を得ながら、人と話すような気軽さを感じる必要があります。各サブプロセスを短縮することで、それが実現可能になりました。

詳細はElevenAgents、または営業チームに問い合わせるからご確認ください。

会話型AIのレイテンシーに関するよくある質問