国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領先的互聯網科技媒體

微軟發布BitNet b1.58 2B4T,以低精度架構實現高效大型語言模型

   時間:2025-04-18 10:08 來源:ITBEAR作者:楊凌霄

近日,科技界迎來了一項令人矚目的創新成果——微軟研究團隊推出的開源大型語言模型BitNet b1.58 2B4T。這款模型以獨特的低精度架構原生訓練而成,擁有20億參數,卻在計算資源需求上實現了大幅縮減。

據技術報告顯示,BitNet b1.58 2B4T的性能直逼同規模的全精度模型。其非嵌入內存占用僅為0.4GB,這一數據遠低于競品Gemma-3 1B的1.4GB和MiniCPM 2B的4.8GB,展現了其卓越的內存效率。

BitNet的高效秘訣在于其創新的架構。該模型摒棄了傳統的16位數值,采用定制的BitLinear層,將權重限制為-1、0、+1三種狀態,形成了三值系統。這種設計使得每權重僅需約1.58位信息存儲,從而實現了高效的存儲和計算。

BitNet在層間激活值上也進行了優化,采用了8位整數量化,形成了W1.58A8的配置。同時,微軟還對Transformer架構進行了調整,引入了平方ReLU激活函數、標準旋轉位置嵌入(RoPE)以及subln歸一化等技術,確保了低位訓練的穩定性。這種原生1位訓練的方式避免了傳統后訓練量化(PTQ)可能帶來的性能損失。

BitNet b1.58 2B4T的開發歷經了三個階段。首先,基于4萬億token的網絡數據、代碼和合成數學數據集進行了預訓練。隨后,通過公開及合成指令數據集進行了監督微調(SFT),如WizardLM Evol-Instruct等。最后,采用直接偏好優化(DPO)方法,利用UltraFeedback等數據集提升了模型的對話能力和安全性。

微軟的測試結果顯示,BitNet在GSM8K(數學)、PIQA(物理常識)等基準測試中表現優異,整體性能與主流1B-2B參數的全精度模型相當。同時,在能耗和CPU解碼延遲上也占據了顯著優勢,每token能耗僅為0.028焦耳,CPU解碼延遲為29毫秒。

然而,值得注意的是,BitNet的高效性需要依賴微軟提供的專用C++框架bitnet.cpp來實現。如果使用標準工具如Hugging Face transformers庫,則無法充分展現其速度和能耗優勢。

微軟還透露了未來的計劃,包括優化GPU和NPU支持,延長上下文窗口至4096 token,并探索更大規模的模型、多語言功能以及硬件協同設計。目前,BitNet b1.58 2B4T已經以MIT許可證在Hugging Face上發布,供社區進行測試和應用。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群

主站蜘蛛池模板: 久久精品午夜 | 国产99r视频精品免费观看 | 中文字幕永久在线视频 | 国内自拍视频在线观看 | 福利视频自拍偷拍 | 欧美日韩不卡码一区二区三区 | 亚洲日韩欧美一区二区在线 | 日本三区四区免费高清不卡 | 福利一区视频 | 狠狠色做五月深爱婷婷 | 开心丁香婷婷深爱五月 | 最新国产毛片 | 国产男女爱视频在线观看 | 九九在线 | 精品久久一区 | 欧美视频在线观看一区二区 | 日本国产在线 | 国内精品久久久久影院中国 | 在线国产不卡 | 日韩在线观看精品 | 在线aa| a级在线免费| 在线成人综合色一区 | 亚洲国产精品一区二区九九 | 欧美深夜福利网站在线观看 | 色婷婷中文字幕在线一区天堂 | 五月婷婷激情六月 | 中文字幕在线看精品乱码 | 一区二区在线免费视频 | 亚洲国产精久久久久久久 | 亚洲欧美日韩精品久久久 | 99国产情在线视频 | 久免费视频 | 精品一区二区久久 | 欧美性色综合网 | 国产不卡在线 | 色婷婷电影网 | 最新国产福利 | 性天堂网| 免费观看男女羞羞的视频网站 | 亚洲精品乱码久久久久久蜜桃欧美 |