国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領(lǐng)先的互聯(lián)網(wǎng)科技媒體

微軟開(kāi)源bitnet.cpp:本地運(yùn)行千億參數(shù)AI模型,無(wú)需GPU?

   時(shí)間:2024-10-19 15:19 來(lái)源:ITBEAR作者:鐘景軒

微軟公司近日宣布了一項(xiàng)重大開(kāi)源成果——bitnet.cpp,這一創(chuàng)新框架專為1-bit大語(yǔ)言模型(LLM)設(shè)計(jì),旨在實(shí)現(xiàn)超高效推理。通過(guò)bitnet.cpp,用戶無(wú)需依賴GPU,即可在本地設(shè)備上流暢運(yùn)行規(guī)模達(dá)1000億參數(shù)的語(yǔ)言模型。

bitnet.cpp不僅帶來(lái)了6.17倍的速度提升,還顯著降低了能耗,降幅高達(dá)82.2%。這一突破解決了傳統(tǒng)大語(yǔ)言模型對(duì)GPU和電力的高需求問(wèn)題,使得小型企業(yè)和個(gè)人用戶也能以較低成本享受AI技術(shù)。

該框架支持1-bit LLMs的高效計(jì)算,并優(yōu)化了內(nèi)核以最大化CPU推理性能。目前,bitnet.cpp已支持ARM和x86 CPU,未來(lái)還計(jì)劃擴(kuò)展至NPU、GPU和移動(dòng)設(shè)備。

根據(jù)測(cè)試結(jié)果,bitnet.cpp在ARM CPU上的加速比為1.37x至5.07x,x86 CPU上則為2.37x至6.17x,能耗減少55.4%至82.2%。

bitnet.cpp的推出有望重塑LLMs的計(jì)算范式,減少對(duì)硬件的依賴,為本地LLMs的發(fā)展鋪平道路。同時(shí),它還能增強(qiáng)隱私保護(hù),降低數(shù)據(jù)發(fā)送至外部服務(wù)器的需求。微軟的“1-bit AI Infra”計(jì)劃中,bitnet.cpp扮演著舉足輕重的角色。

 
 
更多>同類內(nèi)容
推薦圖文
推薦內(nèi)容
點(diǎn)擊排行
 
智快科技微信賬號(hào)
ITBear微信賬號(hào)

微信掃一掃
加微信拉群
電動(dòng)汽車群
科技數(shù)碼群

主站蜘蛛池模板: 羞羞影院男女午夜爽爽影视 | 国产精品免费视频网站 | 隐私视频网站 | 中文字幕ⅴ亚洲日本在线电影 | 久久精品国产久精国产 | 国产宾馆自拍 | 色很久| 久久精品网站免费观看 | 亚洲国产欧美日韩一区二区三区 | 国产成人午夜片在线观看 | 久久国产综合精品欧美 | 国产精品久久久久久久久久免费 | 亚洲国产欧美精品 | 视频国产在线 | 国产成人综合久久精品亚洲 | 午夜男人天堂 | 九月婷婷丁香 | 中文字幕18页| 波多野结衣午夜 | 日韩成人在线观看 | 国内自拍第五一页 | 亚洲女人在线 | 婷婷色网站 | 亚洲电影在线免费观看 | 狠狠色丁香婷婷综合激情 | 九九视频免费精品视频免费 | 亚洲国产成人精品一区二区三区 | 亚洲第一网站在线观看 | 日韩欧美在线视频观看 | 在线视频 一区二区 | 天堂亚洲 | 最近中文字幕更新第 | 欧美色爽 | 在线国产中文字幕 | 精品国产污污免费网站 | 伊人精品视频直播 | 综合精品视频 | 欧美成人一区二区三区不卡 | 国产免费观看视频 | 影电影在线观看免费高清完整版 | 亚洲国产一区二区三区a毛片 |