Ses Biyometrisinde Aksanlar ve Önyargı Nasıl Ele Alınır

Şekil 1: Sesin küresel çeşitliliğinin haritalanması

”Aksan Açığı”

Geçmişte, ses tanıma “General American” veya “Received Pronunciation” (İngiliz) aksanlarında harika çalışıyordu.
Ana dili farklı olan konuşmacılarda, bölgesel lehçelerde veya AAVE’de ise berbat bir şekilde başarısız oluyordu.

Peki neden? Denetimli öğrenme, etiketli veri kümelerine (çoğunlukla stüdyolarda ücretli aktörler tarafından okunan) dayanıyordu.

Kendi kendine denetimli öğrenme (SSL) devreye giriyor

Modern modeller (Wav2Vec 2.0 ve HuBERT gibi) etiketlere ihtiyaç duymaz.
100,000+ saatlik rastgele internet sesi (YouTube, podcast’ler, radyo) üzerinde, 100+ dilde eğitilirler.

Telaffuz değil, fizik öğrenmek

Eski modeller “‘Hello’ kelimesini nasıl telaffuz ettiğinizi” öğreniyordu.
Yeni modeller “ses yolunuzun nasıl rezonansa girdiğini” öğrenir.

• Telaffuz öğrenilir (kültüre/aksana göre değişir).
• Ses yolu fiziği biyolojiktir (size özgüdür).

Fizik’e (tını, perde, rezonans) odaklanarak kimlik doğrulamayı dilden bağımsız hale getiriyoruz.

Adaleti kıyaslama

IdentityCall ‘26 modellerini “FairVoice” veri kümesine karşı test ediyoruz.

Aksan Grubu	Yanlış Ret Oranı (Eski)	Yanlış Ret Oranı (Yeni)
ABD ana dili	1.2%	0.8%
İspanyol Aksanı	4.5%	0.9%
Asya Aksanı	5.1%	1.0%

Açık kapandı. Güvenlik ayrımcılık yapmamalı.

Tasarım gereği kapsayıcı

Önyargıyı yalnızca “yamamıyoruz”. Konuşmanın kültürel katmanını göz ardı edip insani katmanı doğrulayan mimariler inşa ediyoruz.