SIP Trunk’ün Ötesinde: Sesli Temsilci Gecikmesini 300ms Altına Düşürmek

IdentityCall AI Ekibi tarafından | Mühendislik | 8 dakikalık okuma

Yeni Gecikme Standardı

2024’te, sesli temsilciler için “Turing Testi” yalnızca zekâyla değil, hızla ilgili. Önceki 800ms-1s gecikme standardı (bulut tabanlı LLM zincirlerinde tipik olan), yüksek riskli müşteri etkileşimleri için artık kabul edilebilir değil. Kullanıcılar >500ms gecikmeleri “robotik” ya da “bozuk” olarak algılıyor; bu da üst üste konuşmaya ve hüsrana yol açıyor.

Yeni altın standart, 300ms altı sıra almadır. Bu makale, buna ulaşmak için gereken mimari değişimleri inceliyor.

Darboğaz: Geleneksel Bulut Zincirleri

Geleneksel sesli yapay zekâ yığını şöyle görünür:

VAD (Ses Etkinliği Tespiti) sessizliği bekler (200-500ms).
Ses Yükleme buluta (100ms).
ASR (Transkripsiyon) tüm ifadeyi işler (200-400ms).
LLM Çıkarımı token akışı üretir (200-800ms).
TTS (Sentez) metinden ses üretir (200-400ms).
Ses İndirme ve Oynatma (100ms).

Toplam Gecikme: 1.5s - 2.5s. İlk nesil ses botunuzun yavaş hissettirmesinin nedeni budur.

Çözüm: Akış ve Uç Mimariler

1. Spekülatif Yürütme ve Akışlı ASR

Sessizliği beklemeyin. Modern mimariler, kullanıcı hâlâ konuşurken LLM’ye kısmi transkriptler gönderen akışlı ASR kullanır.

Teknik: LLM, yanıtı cümlenin ilk %80’ine dayanarak tahmin etmeye başlar.
Güvenlik: Bir “taahhüt kapısı”, niyet netleşene kadar botun konuşmamasını sağlar, ancak token’lar önceden üretilir.

2. Uç Yapay Zekâ ve Yerel VAD

Ses Etkinliği Tespiti’ni (VAD) uca (ya da telefon sağlayıcısının yerelleştirilmiş düğümüne) taşımak, kritik gidiş-dönüş süresini tasarruf ettirir.

Etki: Ağ titreşiminde 100-200ms tasarruf sağlar.
Uygulama: Doğrudan tarayıcıda veya telefon ucunda çalışan WebAssembly (Wasm) VAD modülleri kullanılarak.

3. TTFT (İlk Token’a Kadar Geçen Süre) Optimizasyonu

LLM’nin kendisi için, İlk Token’a Kadar Geçen Süreyi optimize ederiz.

Niceleme: 4-bit nicelenmiş modeller kullanmak (ör. Llama-3-8B-Int4), konuşma görevlerinde ihmal edilebilir bir doğruluk kaybıyla çıkarım hızını ciddi biçimde artırır.
Önbellek: Anlamsal önbellekleme, yaygın karşılamalara (“Merhaba”, “Kim arıyor?”) verilen yanıtları anında sunmak için saklar (0ms çıkarım).

Mimari Şeması (Mermaid)

sequenceDiagram
    participant User
    participant Edge_VAD
    participant Cloud_LLM
    participant TTS_Engine
    
    User->>Edge_VAD: Speaks "I need to reset..."
    Edge_VAD->>Cloud_LLM: Stream: "I need to reset..."
    Cloud_LLM->>Cloud_LLM: Pre-fetch "Reset Password flow"
    User->>Edge_VAD: "...my password"
    Edge_VAD->>Cloud_LLM: Stream: "...my password" [EOS]
    Cloud_LLM->>TTS_Engine: Stream Tokens (Immediate)
    TTS_Engine->>User: Audio Stream (Sub-300ms)

Sonuç

300ms altı gecikme, bir “ses botunu” bir “sesli temsilciye” dönüştürür. Katı istek-yanıt döngülerinden akıcı, akışlı mimarilere geçerek, olağanüstü insani hissettiren deneyimler yaratırız.

Daha hızlı temsilciler geliştirmeye hazır mısınız? Akış uç noktaları için API Dokümantasyonumuzu inceleyin.