在職場溝通中,一個意外的挑戰(zhàn)讓一位員工不得不面對香港客戶的質(zhì)疑——因項目延期,他急需在線上以完美的解釋挽回信任。而這段解釋中的粵語與英語自如切換的語音,卻并非出自人類之口,而是由海螺語音這一AI技術(shù)所生成。這一技術(shù)的出現(xiàn),不僅令人驚嘆,更預(yù)示著AI語音領(lǐng)域的一次重大突破。
海螺語音的背后,是MiniMax公司強大的技術(shù)支持。今年1月,MiniMax在推出基礎(chǔ)語言大模型和視覺多模態(tài)大模型后,再次升級了其語音大模型T2A-01系列。這一系列的推出,標志著海螺AI語音板塊的正式開啟。相較于舊版本,T2A-01系列在語音生成能力上有了顯著提升,不僅音質(zhì)清晰、韻律自然,還能精準表達情緒,且支持包括中文、粵語、英語在內(nèi)的17種語言及上百種預(yù)置音色。
從海螺語音生成的音頻中,可以清晰感受到其處理不同語種的能力,以及接近人聲的自然度。無需抽卡,就能達到如此穩(wěn)定的水平,這無疑是對當前AI語音技術(shù)的一次革新。為了更直觀地展示海螺語音的實力,我們不妨將其與其他語音生成產(chǎn)品進行對比。
以難度極高的繞口令“施氏食獅史”為例,ChatTTS生成的內(nèi)容粘連感強,幾乎聽不出在讀什么;而ElevenLabs雖然字與字之間能夠區(qū)分開,但存在“呱呱叫”的模型幻覺問題。相比之下,海螺語音的表現(xiàn)則更為出色。整段聲音自然流暢,雖然部分詞語存在斷句問題,但在大部分短句中已有顯著驚艷的表現(xiàn),對音調(diào)、分詞錯落、節(jié)奏和斷句的處理都反映出其背后的理解能力。
海螺語音的多語言合成能力,足以與ElevenLabs等領(lǐng)先產(chǎn)品相媲美。MiniMax團隊采用與Seed-TTS論文相同的評測集和評測工具進行計算,結(jié)果顯示,海螺語音在中文的字錯率和相似度上表現(xiàn)最佳,英文的字錯率、相似度也接近真實錄音。海螺語音還建立了多語種評測集,對17個語種進行客觀評測,結(jié)果顯示其在多個語種上的相似度、正確率均大幅領(lǐng)先。
海螺語音不僅在多語言合成上表現(xiàn)出色,其精準的情緒控制和音色選擇更是令人稱奇。為了讓聲音更加鮮活、情感表達更加精準,MiniMax對長達超千萬小時的高質(zhì)量音頻數(shù)據(jù)進行加工訓練,實現(xiàn)了高音質(zhì)、情感豐富的聲音效果。用戶既可以讓系統(tǒng)自動檢測情緒,也可以明確指定情緒,從而生成能夠精準捕捉人類深層情感的語音輸出。海螺語音還預(yù)置了300+音色供用戶選擇,風格多變,滿足有聲書、ASMR耳語、新聞播報等多種場景需求。
海螺語音還實現(xiàn)了分段控制不同情緒的功能。例如,在表達老人害怕的情緒時,可以進一步從聲音中感受到從害怕到難過再到開心的完整情緒變化。這種對輸入文字的精準理解和對輸出聲音的精細控制,使得海螺語音在商業(yè)化場景和日常對話表達中都能游刃有余。
海螺語音的成功,離不開MiniMax公司對多模態(tài)模型能力的長期投入和持續(xù)發(fā)力。雖然音頻在多模態(tài)模型能力開發(fā)順序上似乎難以排在文字、圖片、視頻之前,但MiniMax卻憑借其在語音大模型上的深厚積累和技術(shù)突破,成功推出了海螺語音這一領(lǐng)先產(chǎn)品。從文本、視頻到語音能力的全面更新,MiniMax和海螺AI正不斷給人帶來驚喜,推動著AI技術(shù)的不斷前進。