在2025年6月，一場科技盛宴在美國田納西州悄然拉開帷幕，這便是備受矚目的國際計算機視覺與模式識別會議（CVPR2025）。此次盛會匯聚了全球頂尖的學者與科研人員，共同探討計算機視覺領域的最新進展。

在這場科技盛宴中，一項由中國值得買科技與中國人民大學高瓴人工智能學院聯手打造的科研成果《圖像轉有聲視頻》成功脫穎而出，榮耀入選CVPR2025。這項成果首次提出并實現了一種從靜態圖像直接生成同步音視頻內容的創新框架——JointDiT（Joint Diffusion Transformer），標志著從圖像到“動態視頻+聲音”的高質量聯合生成邁出了關鍵一步。

CVPR，作為計算機視覺和模式識別領域的頂級年度會議，由IEEE與CVF聯合主辦，每年吸引著來自全球的數千名與會者。CVPR2025涵蓋了從基礎理論到前沿應用的廣泛議題，被錄用的論文代表了該領域最具影響力且經過嚴格同行評審的研究成果。

值得買科技與人大高瓴人工智能學院的合作始于2023年，雙方結合值得買科技的集群算力、消費數據和應用場景能力，以及人大高瓴的科研和人才優勢，在AI內容創作、多模態生成等方面開展前沿研究。此次的《圖像轉有聲視頻》成果，正是雙方共同努力的又一力作。

長期以來，生成式模型的研究主要集中在單一模態的內容合成上，如生成高保真的視頻畫面或自然的音頻片段。然而，在生成自然融合的有聲視頻時，卻面臨著視頻和音頻分離、畫面和聲音語義不匹配或時間上不同步等挑戰。針對這一問題，JointDiT創新性地提出了圖像到有聲視頻生成（I2SV）的新任務，并構建了統一的聯合生成框架。

JointDiT不僅采用了“重組+協同”的創新思路，還設計了感知式聯合注意力機制（Perceiver Joint Attention），實現對視頻幀與音頻序列之間的細粒度互動建模。同時，提出的聯合無分類器引導（JointCFG）及其增強版，進一步提升了音視頻之間的語義一致性與時間同步性。這一成果在視頻質量、音頻自然度、同步性和語義一致性等方面均實現了顯著提升。

為了驗證JointDiT的有效性，研究團隊在三個標準數據集上進行了大量測試。結果顯示，JointDiT在各項核心指標上均優于基于pipeline組合的多階段方法。在用戶主觀打分測試中，JointDiT同樣表現出色，在“視頻質量”“音頻質量”“語義一致性”“同步性”與“整體效果”五項評分中均名列前茅。

人大高瓴人工智能學院的宋睿華副教授表示，未來研究團隊計劃將JointDiT擴展至圖像、文本、音頻、視頻四模態的聯合建模，為構建更通用、更智能的多模態生成系統奠定基礎。這一愿景無疑將為AI技術的發展注入新的活力。

值得買科技作為一家AI與內容驅動的數字消費服務集團，在AI浪潮來臨之時便搶先布局，將AIGC列為集團重點戰略項目。此次與人大高瓴團隊的合作，正是值得買科技全面AI戰略中的重要一環。據悉，雙方正在制定開源計劃，旨在讓更多開發者能夠便利地應用這一創新成果。

目前，值得買科技已形成了從技術底層、產品形態到生態共建的全面AI布局。不僅構建了以AIUC引擎為代表的底層AI技術能力，還推出了面向用戶、品牌、創作者及大模型的AI產品和解決方案。同時，值得買科技還將自身沉淀的AI能力開放給合作伙伴，共建高質量AI生態，推動行業生態的繁榮與發展。