国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領先的互聯網科技媒體

Meta新模型Multi-SpatialMLLM:多模態AI空間理解能力大幅提升

   時間:2025-05-29 14:09 來源:ITBEAR作者:沈瑾瑜

近日,科技界傳來一項重要進展,meta公司與香港中文大學攜手,在人工智能領域邁出了關鍵一步。他們共同推出的Multi-SpatialMLLM模型,實現了對深度感知、視覺對應和動態感知三大功能的整合,打破了單幀圖像分析的局限性。

近年來,多模態大語言模型(MLLMs)在視覺任務處理方面取得了顯著成果。然而,作為獨立的數字實體,MLLMs的實際應用卻受到了一定限制。隨著機器人、自動駕駛等領域的快速發展,對MLLMs的空間理解能力提出了更高要求。但遺憾的是,現有的模型在基礎空間推理任務中表現并不理想,例如,它們常常無法準確區分左右。

針對這一難題,meta旗下的FAIR團隊與香港中文大學展開了深入研究。他們發現,過去的研究往往將問題歸咎于缺乏專門的訓練數據,并試圖通過單張圖像的空間數據進行改進。然而,這種方法只能局限于靜態視角的分析,缺乏動態信息處理的能力。

為了解決這個問題,FAIR團隊與香港中文大學聯合推出了MultiSPA數據集。這個數據集包含了超過2700萬個樣本,涉及多樣化的3D和4D場景,為MLLMs的訓練提供了豐富的資源。MultiSPA數據集結合了Aria Digital Twin、Panoptic Studio等高質量標注場景數據,并通過GPT-4o生成了多樣化的任務模板,從而確保了數據的全面性和多樣性。

在MultiSPA數據集的基礎上,研究團隊設計了五個訓練任務,包括深度感知、相機移動感知、物體大小感知等。這些任務旨在提升Multi-SpatialMLLM模型在多幀空間推理上的能力,使其能夠更好地理解和處理復雜的空間信息。

經過嚴格的測試和評估,Multi-SpatialMLLM模型展現出了卓越的性能。在MultiSPA基準測試中,該模型相比基礎模型平均提升了36%,在定性任務上的準確率達到80%-90%,遠超基礎模型的50%。甚至在預測相機移動向量等高難度任務上,該模型也取得了18%的準確率。在BLINK基準測試中,Multi-SpatialMLLM模型的準確率接近90%,平均提升26.4%,超越了多個專有系統。

Multi-SpatialMLLM模型在保持原有性能的同時,還展現出了不依賴過度擬合空間推理任務的通用能力。在標準視覺問答(VQA)測試中,該模型依然保持了出色的表現。這一成果不僅為MLLMs在空間理解方面的發展提供了新的思路和方法,也為機器人、自動駕駛等領域的未來發展奠定了堅實的基礎。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群

主站蜘蛛池模板: 久久免费高清视频 | 久久手机免费视频 | 在线羞羞视频 | 亚洲免费视 | 亚洲阿v天堂一区二区三区 日本a在线天堂 | 久热香蕉在线爽青青 | 欧美.亚洲.日本一区二区三区 | 在线99热| 毛片完整版 | 国产精品黄在线观看免费 | 亚洲精品tv久久久久久久久 | 亚洲专区欧美专区 | 午夜欧美福利 | 欧美日批视频 | 最新国产在线视频 | 久久国产一久久高清 | 中文国产成人精品久久久 | 亚洲六月丁香六月婷婷色伊人 | 伊人久久综合视频 | 婷婷色九月综合激情丁香 | 毛片免费在线视频 | 丁香花影院 | 欧美亚洲国产精品久久高清 | 久久精品视频免费看 | 久久久高清国产999尤物 | 亚洲一区二区三区久久 | 色男人的天堂 | 欧美 日韩 视频 | 久久精品国产只有精品66 | 男女视频网 | 2018av男人天堂 | 久久久精品国产免费观看同学 | a级毛片在线免费观看 | 羞羞色在线观看 | 偷自拍第一页 | 波多野结衣免费在线 | 精品久久免费视频 | 高清免费久久影院 | 一级久久| 波多野结衣资源在线 | 三妻四妾韩国电影 |