DSU dobro hvataju glasove, ali se tonovi gube u kvantizaciji
The visual shows how tone can weaken when continuous speech is compressed into discrete tokens.📷 AI-generated / Tech&Space
- ★DSU su korisni govorni tokeni, ali u mandarinskom i Yorùbá slabije čuvaju leksički ton
- ★Autori nalaze da SSL latentne reprezentacije ipak nose ton, dok ga kvantizacija potiskuje prema fonetskoj strukturi
- ★Rad predlaže tone-aware ili prosody-aware reprezentacije, uključujući drugi K-means korak na rezidualu
Rad arXiv:2604.07467, koji potpisuju Opeyemi Osakuade i Simon King, udara u jedan od urednijih kompromisa govorne umjetne inteligencije: diskretne govorne jedinice, ili DSU. Ideja DSU-a je pretvoriti kontinuirani audio signal u niz tokena. To je korisno jer modeli tada mogu govor tretirati sličnije tekstu, što olakšava zadatke kao što su text-to-speech i multimodalni dijaloški sustavi. Problem je u tome što govor nije samo niz glasova.
Segmentalna struktura su dijelovi poput samoglasnika i suglasnika. Suprasegmentalne značajke sjede iznad toga: ton, naglasak, ritam, trajanje i intonacija. U tonskim jezicima, leksički ton nije ukras. U mandarinskom i Yorùbá jeziku visina i oblik tona mogu nositi značenje riječi. Ako ga model izgubi, ne zvuči samo manje prirodno - može prenijeti krivu riječ. Autori zato ispituju što se događa kada se reprezentacije iz self-supervised learning modela pretvore u DSU.
SSL ovdje znači da model uči iz velikih količina govora bez ručno označenog svakog detalja. Prije kvantizacije, latentne reprezentacije još nose informaciju o tonu. Kvantizacija je korak u kojem se glatki, kontinuirani signal stisne u diskretne kutije. I upravo tu rad nalazi usko grlo: DSU nakon kvantizacije dosljednije čuvaju fonetsku strukturu nego leksički ton.
Rad o mandarinskom i Yorùbá jeziku pokazuje da SSL reprezentacije nose ton, ali ga diskretne govorne jedinice nakon kvantizacije često slabije čuvaju.
The tone-contour comparison shows why the same tokenization step is not neutral across languages.📷 AI-generated / Tech&Space
Najvažnija nijansa rada je da ton ne nestaje zato što ga raniji SSL model uopće nije vidio. Prema autorima, latentne reprezentacije same po sebi kodiraju ton, ali kvantizacija ih preuređuje tako da prednost dobiva fonetska struktura. Jednostavnije rečeno: model negdje zna da postoji melodijska razlika, ali završni tokeni više vole jasno razdvojiti glasove nego sačuvati tu krivulju visine. To vrijedi za više kvantizacijskih metoda, ne samo za najčešći K-means.
K-means je metoda grupiranja: slične točke u prostoru značajki stavljaju se u isti klaster, a klaster zatim postaje token. Ako klasteriranje optimizira ono što je najjače i najčešće u signalu, ton može završiti kao slabiji detalj, osobito kada se natječe s artikulacijskim informacijama. To je loša vijest za sustave koji žele biti pouzdani u jezicima gdje je prosodija dio značenja. Rad ne staje na kritici.
Autori predlažu potrebu za tone-aware ili prosody-aware tehnikama u učenju govornih reprezentacija. Kao mogući smjer navode K-means klasteriranje jednom za fonetsku informaciju, zatim ponovno na rezidualnoj reprezentaciji. Rezidual je ono što ostane nakon prvog objašnjenja signala. Ako prvi prolaz pokupi glasove, drugi može imati bolju šansu uhvatiti ton. Za industriju je pouka prilično suha, ali važna: DSU su praktični, ne svemogući. Ako TTS, glasovni asistenti ili multimodalni agenti koriste DSU kao temelj, evaluacija ne smije stati na engleskim ili netonskim testovima.
Treba mjeriti čuva li sustav značenje u jezicima gdje melodija riječi nije stil, nego gramatika i leksik. Sljedeći napredak u govornoj AI možda zato neće biti samo veći model, nego bolji način da token ne spljošti ono što je u govoru najinformativnije.