原標題:“語音到語音”即時翻譯AI模型推出
科技日報北京1月15日電 (記者張夢然)《自然》雜志15日介紹了一款人工智能(AI)模型,其宛如科幻小說里的“巴別魚”,能直接“語音到語音”翻譯多達101種語言的語音和文本。由Meta推出的這一模型名為SEAMLESSM4T,其填補了語言覆蓋方面的空白,且性能優于現有其他系統。該成果為快速通用翻譯鋪平道路,其資源公開可用(用于非商業用途),以協助進一步研究包容性語音翻譯技術。
科幻小說讀者可能很熟悉《銀河系漫游指南》里的“巴別魚”,這種小魚能進入耳朵,以口譯形式即時將一種語言翻譯成另一種語言。這種工具對于促成全球互聯環境下的交流非常有用,但大多數現有的機器學習翻譯系統都是文本導向的,或需要好幾步轉換——語音識別、翻譯成文本、再將文本轉換成語音。此外,現有語音到語音模型的語言覆蓋范圍也遠低于文本到文本模型,并且傾向于從源語言翻譯成英語,而非從英語到另一種語言。
為了突破這些限制,Meta的“無縫交流團隊”開發了一款單一模型,支持多達101種語言之間的多種翻譯模式。SEAMLESSM4T可支持語音到語音(識別101種語言并翻譯為36種語言)、語音到文本(101種語言譯為96種)、文本到語音(96種語言譯為36種)、文本到文本(96種語言)的翻譯,以及自動語音識別(96種語言)。在語音到語音的翻譯中,SEAMLESSM4T的文本翻譯比現有系統準確度要高23%。這一AI模型可過濾背景噪聲并適應說話者的差異。
研究團隊總結稱,雖然還需要進一步優化,但SEAMLESSM4T標志著在跨越語言障礙、促進交流方面的重要進步。