国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領(lǐng)先的互聯(lián)網(wǎng)科技媒體

微軟開(kāi)源bitnet.cpp:本地運(yùn)行千億參數(shù)AI模型,無(wú)需GPU?

   時(shí)間:2024-10-19 15:19 來(lái)源:ITBEAR作者:鐘景軒

微軟公司近日宣布了一項(xiàng)重大開(kāi)源成果——bitnet.cpp,這一創(chuàng)新框架專為1-bit大語(yǔ)言模型(LLM)設(shè)計(jì),旨在實(shí)現(xiàn)超高效推理。通過(guò)bitnet.cpp,用戶無(wú)需依賴GPU,即可在本地設(shè)備上流暢運(yùn)行規(guī)模達(dá)1000億參數(shù)的語(yǔ)言模型。

bitnet.cpp不僅帶來(lái)了6.17倍的速度提升,還顯著降低了能耗,降幅高達(dá)82.2%。這一突破解決了傳統(tǒng)大語(yǔ)言模型對(duì)GPU和電力的高需求問(wèn)題,使得小型企業(yè)和個(gè)人用戶也能以較低成本享受AI技術(shù)。

該框架支持1-bit LLMs的高效計(jì)算,并優(yōu)化了內(nèi)核以最大化CPU推理性能。目前,bitnet.cpp已支持ARM和x86 CPU,未來(lái)還計(jì)劃擴(kuò)展至NPU、GPU和移動(dòng)設(shè)備。

根據(jù)測(cè)試結(jié)果,bitnet.cpp在ARM CPU上的加速比為1.37x至5.07x,x86 CPU上則為2.37x至6.17x,能耗減少55.4%至82.2%。

bitnet.cpp的推出有望重塑LLMs的計(jì)算范式,減少對(duì)硬件的依賴,為本地LLMs的發(fā)展鋪平道路。同時(shí),它還能增強(qiáng)隱私保護(hù),降低數(shù)據(jù)發(fā)送至外部服務(wù)器的需求。微軟的“1-bit AI Infra”計(jì)劃中,bitnet.cpp扮演著舉足輕重的角色。

 
 
更多>同類內(nèi)容
推薦圖文
推薦內(nèi)容
點(diǎn)擊排行
 
智快科技微信賬號(hào)
ITBear微信賬號(hào)

微信掃一掃
加微信拉群
電動(dòng)汽車群
科技數(shù)碼群

主站蜘蛛池模板: 高清偷自拍第1页 | 激情网址在线观看 | 三级韩国一区久久二区综合 | 九九影视网 | 色婷婷影院在线视频免费播放 | 精品视频亚洲 | 久久国产一区二区 | 水蜜桃视频在线观看免费 | 国产一区精品在线 | 亚洲精品高清视频 | 亚洲欧美一区二区视频 | 欧美精品久久久亚洲 | 一区二区三区四区在线不卡高清 | 国产成人精品男人的天堂538 | 婷婷国产天堂久久综合五月 | 国产成人一区二区三区视频免费蜜 | 99国产情在线视频 | 日韩看片| 在线观看精品视频网站www | 一级理论电影 | 亚洲国产高清人在线 | 午夜欧美 | 欧美福利视频 | 波多野结衣高清在线播放 | 九草在线播放 | 美国毛片亚洲社区在线观看 | 亚洲欧美日韩精品久久久 | 久久久久久国产精品视频 | 亚洲黄色在线观看视频 | 国产成人久久一区二区三区 | 中文字幕无线码欧美成人 | 欧美在线观看第一页 | 中文字幕免费在线视频 | 欧美精品福利视频 | 亚洲狠狠色丁香婷婷综合 | 亚洲国产日韩精品 | 伊人五月综合 | 中文永久免费观看网站 | 国产色视频在线 | 国产一区二区久久久 | 男女男精品视频在线播放 |