国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領(lǐng)先的互聯(lián)網(wǎng)科技媒體

微軟開(kāi)源bitnet.cpp:本地運(yùn)行千億參數(shù)AI模型,無(wú)需GPU?

   時(shí)間:2024-10-19 15:19 來(lái)源:ITBEAR作者:鐘景軒

微軟公司近日宣布了一項(xiàng)重大開(kāi)源成果——bitnet.cpp,這一創(chuàng)新框架專為1-bit大語(yǔ)言模型(LLM)設(shè)計(jì),旨在實(shí)現(xiàn)超高效推理。通過(guò)bitnet.cpp,用戶無(wú)需依賴GPU,即可在本地設(shè)備上流暢運(yùn)行規(guī)模達(dá)1000億參數(shù)的語(yǔ)言模型。

bitnet.cpp不僅帶來(lái)了6.17倍的速度提升,還顯著降低了能耗,降幅高達(dá)82.2%。這一突破解決了傳統(tǒng)大語(yǔ)言模型對(duì)GPU和電力的高需求問(wèn)題,使得小型企業(yè)和個(gè)人用戶也能以較低成本享受AI技術(shù)。

該框架支持1-bit LLMs的高效計(jì)算,并優(yōu)化了內(nèi)核以最大化CPU推理性能。目前,bitnet.cpp已支持ARM和x86 CPU,未來(lái)還計(jì)劃擴(kuò)展至NPU、GPU和移動(dòng)設(shè)備。

根據(jù)測(cè)試結(jié)果,bitnet.cpp在ARM CPU上的加速比為1.37x至5.07x,x86 CPU上則為2.37x至6.17x,能耗減少55.4%至82.2%。

bitnet.cpp的推出有望重塑LLMs的計(jì)算范式,減少對(duì)硬件的依賴,為本地LLMs的發(fā)展鋪平道路。同時(shí),它還能增強(qiáng)隱私保護(hù),降低數(shù)據(jù)發(fā)送至外部服務(wù)器的需求。微軟的“1-bit AI Infra”計(jì)劃中,bitnet.cpp扮演著舉足輕重的角色。

 
 
更多>同類內(nèi)容
推薦圖文
推薦內(nèi)容
點(diǎn)擊排行
 
智快科技微信賬號(hào)
ITBear微信賬號(hào)

微信掃一掃
加微信拉群
電動(dòng)汽車群
科技數(shù)碼群

主站蜘蛛池模板: 曰韩毛片 | 国产精品成人一区二区不卡 | 国产性一交一乱一伦一色一情 | 九九精品免费视频 | 亚洲国产成人久久一区二区三区 | 国产剧情自拍 | 一级做a爰片久久免费 | 亚洲成熟xxxxx | 国产小视频在线免费观看 | 国内精品视频成人一区二区 | 在线成人小视频 | 色老师影院 | 国内久久久久久久久久 | 羞羞免费网站 | 性欧美另类老妇高清 | 亚洲欧美一区二区三区国产精品 | 亚洲一区欧美二区 | 亚洲欧美久久 | 久久曰 | 亚洲欧洲国产成人综合一本 | 国产看片网站 | 久久国产精品999 | 亚洲精品美女视频 | 蜜桃视频一区 | 久久成人精品视频 | 亚洲人成电影网站国产精品 | 亚洲免费在线视频 | 激情网址在线观看 | 日韩欧美色视频 | 激情六月婷婷 | 5月婷婷6月丁香 | 国产精品视频免费看 | 亚洲精品视频导航 | 九九久久精品国产免费看小说 | 久久精品免看国产 | 久久羞羞视频 | 激情九月婷婷 | 亚洲精品电影天堂网 | 自拍偷拍视频网站 | 日本免费二区三区久久 | 亚洲成人国产 |