復(fù)旦大學(xué)與百度攜手推出全新AI模型——Hallo2,該模型已正式在GitHub開源。Hallo2能夠生成長達數(shù)小時、分辨率為4K的人物動畫,相較于前代模型,實現(xiàn)了顯著提升。
Hallo2模型基于latent diffusion models構(gòu)建,引入了數(shù)據(jù)增強方法,如patch-drop和高斯噪聲,有效提升了長時間視頻的視覺一致性和時間連貫性。同時,該模型還結(jié)合了向量量化生成對抗網(wǎng)絡(luò)和時間對齊技術(shù),確保了高分辨率視頻的質(zhì)量和流暢性。
Hallo2還創(chuàng)新性地將可調(diào)整的語義文本標簽的肖像表情作為條件輸入,提高了生成內(nèi)容的可控性和多樣性。據(jù)項目頁面介紹,Hallo2是首個實現(xiàn)4K分辨率并生成長達1小時音頻驅(qū)動人像圖像動畫的方法,且可通過文本提示進行增強。
附Hallo2項目地址。