在職場溝通中,一個意外的挑戰讓一位員工不得不面對香港客戶的質疑——因項目延期,他急需在線上以完美的解釋挽回信任。而這段解釋中的粵語與英語自如切換的語音,卻并非出自人類之口,而是由海螺語音這一AI技術所生成。這一技術的出現,不僅令人驚嘆,更預示著AI語音領域的一次重大突破。
海螺語音的背后,是MiniMax公司強大的技術支持。今年1月,MiniMax在推出基礎語言大模型和視覺多模態大模型后,再次升級了其語音大模型T2A-01系列。這一系列的推出,標志著海螺AI語音板塊的正式開啟。相較于舊版本,T2A-01系列在語音生成能力上有了顯著提升,不僅音質清晰、韻律自然,還能精準表達情緒,且支持包括中文、粵語、英語在內的17種語言及上百種預置音色。
從海螺語音生成的音頻中,可以清晰感受到其處理不同語種的能力,以及接近人聲的自然度。無需抽卡,就能達到如此穩定的水平,這無疑是對當前AI語音技術的一次革新。為了更直觀地展示海螺語音的實力,我們不妨將其與其他語音生成產品進行對比。
以難度極高的繞口令“施氏食獅史”為例,ChatTTS生成的內容粘連感強,幾乎聽不出在讀什么;而ElevenLabs雖然字與字之間能夠區分開,但存在“呱呱叫”的模型幻覺問題。相比之下,海螺語音的表現則更為出色。整段聲音自然流暢,雖然部分詞語存在斷句問題,但在大部分短句中已有顯著驚艷的表現,對音調、分詞錯落、節奏和斷句的處理都反映出其背后的理解能力。
海螺語音的多語言合成能力,足以與ElevenLabs等領先產品相媲美。MiniMax團隊采用與Seed-TTS論文相同的評測集和評測工具進行計算,結果顯示,海螺語音在中文的字錯率和相似度上表現最佳,英文的字錯率、相似度也接近真實錄音。海螺語音還建立了多語種評測集,對17個語種進行客觀評測,結果顯示其在多個語種上的相似度、正確率均大幅領先。
海螺語音不僅在多語言合成上表現出色,其精準的情緒控制和音色選擇更是令人稱奇。為了讓聲音更加鮮活、情感表達更加精準,MiniMax對長達超千萬小時的高質量音頻數據進行加工訓練,實現了高音質、情感豐富的聲音效果。用戶既可以讓系統自動檢測情緒,也可以明確指定情緒,從而生成能夠精準捕捉人類深層情感的語音輸出。海螺語音還預置了300+音色供用戶選擇,風格多變,滿足有聲書、ASMR耳語、新聞播報等多種場景需求。
海螺語音還實現了分段控制不同情緒的功能。例如,在表達老人害怕的情緒時,可以進一步從聲音中感受到從害怕到難過再到開心的完整情緒變化。這種對輸入文字的精準理解和對輸出聲音的精細控制,使得海螺語音在商業化場景和日常對話表達中都能游刃有余。
海螺語音的成功,離不開MiniMax公司對多模態模型能力的長期投入和持續發力。雖然音頻在多模態模型能力開發順序上似乎難以排在文字、圖片、視頻之前,但MiniMax卻憑借其在語音大模型上的深厚積累和技術突破,成功推出了海螺語音這一領先產品。從文本、視頻到語音能力的全面更新,MiniMax和海螺AI正不斷給人帶來驚喜,推動著AI技術的不斷前進。