国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領先的互聯網科技媒體

Meta開源WebSSL模型,視覺學習能否真正擺脫語言束縛?

   時間:2025-04-25 12:08 來源:ITBEAR作者:趙云飛

近日,科技界迎來了一項新的突破,meta公司正式發布了WebSSL系列模型,這一系列模型基于純圖像數據進行訓練,旨在探索無語言監督的視覺自監督學習(SSL)的潛力。此舉標志著meta在視覺學習領域邁出了重要一步。

在當前的視覺學習領域,以OpenAI的CLIP為代表的對比語言-圖像模型已成為學習視覺表征的熱門選擇。這類模型在視覺問答(VQA)、文檔理解等多模態任務中展現出了卓越的性能。然而,語言依賴成為了一個限制因素,由于數據集獲取的復雜性和數據規模的限制,語言依賴面臨著諸多挑戰。meta公司正是針對這一痛點,推出了WebSSL系列模型。

WebSSL系列模型涵蓋了DINO和Vision Transformer(ViT)兩種架構,參數規模從3億到70億不等。這些模型在Hugging Face平臺上發布,為研究和應用提供了極大的便利。值得注意的是,這些模型僅使用了metaCLIP數據集(MC-2B)中的20億張圖像子集進行訓練,完全排除了語言監督的影響。

WebSSL模型采用了兩種視覺自監督學習范式:聯合嵌入學習(DINOv2)和掩碼建模(MAE)。在訓練過程中,統一使用了224×224分辨率的圖像,并凍結了視覺編碼器,以確保結果差異僅源于預訓練策略。這一設計使得WebSSL模型能夠在不受數據和模型規模限制的情況下,深入評估純視覺自監督學習的表現潛力。

模型在五個容量層級(ViT-1B至ViT-7B)上進行了訓練,并基于Cambrian-1基準測試進行了評估。該基準測試覆蓋了通用視覺理解、知識推理、OCR和圖表解讀等16個VQA任務。實驗結果顯示,隨著參數規模的增加,WebSSL模型在VQA任務上的表現接近對數線性提升,而CLIP在超過30億參數后性能趨于飽和。

在OCR和圖表任務中,WebSSL模型的表現尤為突出。經過數據篩選后,僅用1.3%的富文本圖像進行訓練,WebSSL模型就在OCRBench和ChartQA任務中實現了高達13.6%的性能提升。這一成果充分展示了WebSSL模型在特定任務中的卓越性能。

WebSSL模型在高分辨率(518px)微調方面也表現出色,進一步縮小了與SigLIP等高分辨率模型的差距。在文檔任務中,WebSSL模型更是展現出了卓越的性能。這一成果不僅驗證了WebSSL模型在視覺學習領域的潛力,也為未來的研究提供了重要的參考。

WebSSL模型在無語言監督下仍展現出與預訓練語言模型(如LLaMA-3)的良好對齊性。這表明大規模視覺模型能夠隱式學習與文本語義相關的特征,為視覺與語言的交叉研究提供了新的思路。

同時,WebSSL模型在傳統基準測試(如ImageNet-1k分類、ADE20K分割)上也保持了強勁的表現。部分場景下,WebSSL模型甚至優于metaCLIP和DINOv2等現有模型。這一成果進一步證明了WebSSL模型在視覺學習領域的領先地位。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群

主站蜘蛛池模板: 激情五月婷婷基地 | 婷婷深爱| 亚洲丁香婷婷综合久久小说 | 精品视频免费 | 亚洲免费视频网 | 99国产精品热久久久久久 | 一本久久精品一区二区 | 国产精品亚洲一区二区三区正片 | 2017亚洲男人天堂 | 国产精品第一区在线观看 | 免费国产黄网站在线观看 | 欧美成人生活最新国产网址 | 五月天婷婷激情 | 一级片在线观看 | 精品国内在线视频2019百度 | 亚洲国产成人久久综合一区77 | 日本一区二区视频在线 | 精品久久国产视频 | 久久久久女人精品毛片 | 波多野结衣视频免费观看 | 伊人网在线视频观看 | 国产一二三四区中 | 欧美日韩在线观看一区 | 性v天堂 | 国产精品1234区 | 国产羞羞 | 欧美精品一区二区三区四区 | 在线视频 二区 | 99久久精品国产一区二区成人 | 久久狠狠丁香婷婷综合 | 亚洲综合伊人 | 在线免费视频国产 | 五月天激情亚洲婷婷在线 | aaa级精品久久久国产片 | 毛片免费全部免费播放 | 国产伦精品一区二区三区免费迷 | 免费的色网站 | 一对一在线观看 | 亚洲六月丁香婷婷综合 | 国产欧美精品系列在线播放 | 国产网站精品 |