国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領先的互聯網科技媒體

多模態視頻模型Vidu1.5:智能涌現,Scaling Law新起點?

   時間:2024-11-22 14:08 來源:ITBEAR作者:唐云澤

在自然語言處理領域,一個顯著的轉折點正在顯現:單純的模型規模和數據量增加,似乎已觸及性能提升的瓶頸。業界開始質疑,Scaling Law是否已走到盡頭,低精度訓練與推理是否正導致模型性能提升的邊際效益不斷遞減。然而,這一挑戰也為新的探索開辟了道路。

盡管Scaling Law在自然語言處理中顯露出“力不從心”的跡象,但在多模態模型領域,它還未被真正驗證。多模態數據因其復雜性,在訓練規模上難以達到與自然語言處理相當的水平。然而,清華系大模型公司生數科技最新發布的Vidu 1.5,卻為這一領域帶來了新曙光。

Vidu 1.5通過持續的規模擴展(Scaling Up),在多模態領域實現了突破性的“奇點”時刻。它涌現出了“上下文能力”,能夠理解和記憶輸入的多主體信息,并展現出對復雜主體更精準的控制。無論是細節豐富的角色還是復雜的物體,通過上傳不同角度的三張圖片,Vidu 1.5都能確保單主體形象的高度一致。

不僅如此,Vidu 1.5還實現了多主體之間的一致性。用戶可上傳包含人物角色、道具物體、環境背景等多種元素的圖像,Vidu能夠將這些元素無縫融合,并實現自然交互。這一成就不僅彰顯了Scaling Law在多模態領域的潛力,更體現了生數科技所采用的無微調、大一統技術架構的優越性。

回顧大語言模型的發展歷程,從GPT-2到GPT-3.5的質變,同樣實現了從預訓練+特定任務微調方式到整體統一框架的突破。Vidu 1.5的推出,標志著多模態大模型也迎來了類似的GPT-3.5時刻。生數科技CTO鮑凡表示,他們從一開始就瞄準了通用多模態大模型的目標,并未在Sora等已有方案上亦步亦趨。

生數科技不僅在技術路線上具有先發優勢,更具備持續突破的能力。Vidu與業界其他視頻生成模型相比,已初步形成技術代差。這得益于其重新設計的底層架構,該架構將問題統一為視覺輸入、視覺輸出的patches,并采用單個網絡統一建模變長的輸入和輸出。

實現主體一致性,是視頻模型領域的一大難題。鮑凡比喻道,這好比制造一臺性能卓越的發動機,雖然知道其重要性,但實現起來卻困難重重。Vidu在主體一致性方面的成果,并非一蹴而就。從Vidu上線之初主打解決一致性問題,到逐步拓展到單主體及多主體控制的全面能力,每一步都凝聚了團隊的智慧與汗水。

與其他仍采用預訓練+LoRA微調方案的模型不同,Vidu采用的大一統架構,無需單獨進行數據收集、標注和微調,僅需1到3張圖就能輸出高質量視頻。這一架構不僅提高了效率,還避免了過擬合和特征不精準等問題。

隨著高質量數據的持續投入和模型規模的擴大,Vidu 1.5在底層視頻生成模型上也展現出了類似于大語言模型的智能涌現。例如,它能夠融合不同主體,創造出全新的角色,這是之前未曾預料到的能力。Vidu 1.5在上下文能力和記憶能力方面也取得了顯著提升,能夠生成一致、連貫且有邏輯的視頻內容。

生數科技接下來將繼續沿著上下文能力這一主線進行迭代。鮑凡表示,隨著模型上下文能力的提升,將為用戶帶來更大的想象空間。例如,通過輸入電影切片,可以生成具有相似攝影技巧的視頻片段;通過輸入經典打斗動作的視頻,可以生成打斗技巧精妙、畫面精良的視頻。

Vidu在上下文能力方面的迭代有著自己的節奏和規劃。從初期僅能參考單一主體的面部特征,到現在能參考多個主體,未來還將實現參考拍攝技巧、運鏡、調度等更多因素。這一過程中,參考對象從具體到抽象,要求和難度逐漸提升,但Vidu正穩步前行。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群

主站蜘蛛池模板: 伊人五月综合 | 四虎网站1515hh四虎 | 国色天香社区在线视频免费观看 | 久久久久亚洲视频 | 五月欧美激激激综合网色播 | 激情小说五月 | 网站污在线观看 | 亚洲网站色| 欧美日韩小视频 | 想爱爱影院 | 亚洲精品高清中文字幕 | 国产精品久久久久久久久久免费 | 久久亚洲不卡一区二区 | 波多野结衣在观看播放 | 亚洲开心网 | 日韩精品视频免费网址 | 亚洲国产欧美在线观看 | 欧美日韩一区二区在线观看视频 | 久久精品免费一区二区三区 | 日本精品一区二区三区在线视频 | 丁香综合网 | 国产精品免费久久 | 一色桃子在线精品播放 | 午夜精品久久久久蜜桃 | 羞羞的动漫免费出处 | 久久五月天综合 | 欧美日韩在线播放 | 调教女m视频免费区 | 亚洲精品国产免费 | 全黄性性激高免费视频 | 国产精品视频分类 | 激情六月婷婷开心丁香开心 | 日韩欧美亚洲国产精品字幕久久久 | 日本欧美在线观看 | 在线小视频你懂的 | 亚洲国产日韩精品 | 欧美成人高清性色生活 | 国产伦精品一区二区三区免费迷 | 亚洲人成电影网站久久 | 开心色播站 | 亚洲理论电影在线观看 |