Dünyadaki yaklaşık 7.000 bilinen dilin neredeyse yarısı, on dilden dördü yazılı bir bileşen olmadan varoluyor. Bu yazılmamış diller, modern dijital çeviri sistemleri için büyük sıkıntı teşkil ediyor. Çünkü genellikle yeni dile çeviri yapmadan ve metni konuşmaya çevirmeden önce sözlü konuşmayı yazılı kelimelere dönüştürmeleri gerekir. Sncak Meta'nın en son açık kaynak dil yapay zeka ilerlemesi yazılı metni olmayan bu dilleri çevirebilecek teknolojiye sahip.
Metaverse sakinlerinin daha kolay etkileşime girebilmesi için gerçek zamanlı konuşmadan konuşmaya çeviri geliştirmeye çalışan Meta'nın Evrensel Konuşma Çevirmeni (UST) programının bir parçası olacak. Bu projenin bir parçası olarak Meta araştırmacıları, Asya'nın diasporasında konuşulan ve Tayvan'ın resmi dillerinden biri olan yazılı olmayan bir dil olan Hokkien'i incelediler.
Dijital çeviri sistemleri tipik olarak, Hokkien gibi yazılı olmayan dillerin tam olarak neye sahip olmadığı konusunda eğitim almak için hem yazılı hem de sözlü dilin kapsamlı etiketlenebilir örneklerini gerektirir. Bunun üstesinden gelmek için CEO Mark Zuckerberg Çarşamba dünkü bir blog yazısında, "girdi konuşmasını daha önce Meta'nın öncülük ettiği yolda doğrudan bir dizi akustik birime dönüştürmek için konuşmadan birime çeviri sistemini (S2UT) kullandık" dedi.
"Sonra birimlerden dalga formları oluşturduk. Ek olarak, ilk geçişli kod çözücünün ilgili bir dilde (Mandarin) metin oluşturduğu ve ikinci geçişli kod çözücünün birimler oluşturduğu iki geçişli bir kod çözme mekanizması için birlik benimsenmiştir."
"Mandarin'i sahte etiketler oluşturmak için bir ara dil olarak kullandık, burada önce ingilizce (veya Hokkien) konuşmayı Mandarin metnine çevirdik ve ardından Hokkien'e (veya ingilizce'ye) çevirip eğitim verilerine ekledik" diye devam etti. Şu anda sistem, Hokkien konuşan birinin, ingilizce bilen biriyle konuşmasına izin veriyor. Model, bir seferde yalnızca bir tam cümleyi çevirebilir, ancak Zuckerberg, tekniğin sonunda daha fazla dile uygulanabileceğinden ve gerçek zamanlı çeviri sunma noktasına geleceğinden emin.
Meta'nın bu projeden halihazırda açık kaynak sağladığı modellere ve eğitim verilerine ek olarak, şirket ayrıca Tayvan Genelinde Tayvanca adlı bir Hokkien konuşma külliyatına dayanan türünün ilk örneği bir konuşmadan konuşmaya çeviri kıyaslama sistemi yayınlıyor.
