国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領(lǐng)先的互聯(lián)網(wǎng)科技媒體

字節(jié)開源MoE關(guān)鍵優(yōu)化技術(shù),主流大模型均能接入,訓(xùn)練成本可省40%!

   時(shí)間:2025-03-10 19:01 來源:ITBEAR作者:快訊

3 月 10日,字節(jié)豆包大模型團(tuán)隊(duì)官宣開源一項(xiàng)針對(duì) MoE 架構(gòu)的關(guān)鍵優(yōu)化技術(shù),可將大模型訓(xùn)練效率提升1.7倍,成本節(jié)省40%。據(jù)悉,該技術(shù)已實(shí)際應(yīng)用于字節(jié)的萬卡集群訓(xùn)練,累計(jì)幫助節(jié)省了數(shù)百萬 GPU 小時(shí)訓(xùn)練算力。

MoE 是當(dāng)前大模型的主流架構(gòu),但其在分布式訓(xùn)練中存在大量跨設(shè)備通信開銷,嚴(yán)重制約了大模型訓(xùn)練效率和成本。以海外主流模型Mixtral-8x7B為例, 其訓(xùn)練過程中通信時(shí)間占比可高達(dá) 40%。針對(duì)這一難題,字節(jié)在內(nèi)部研發(fā)了COMET計(jì)算-通信重疊技術(shù),通過多項(xiàng)創(chuàng)新,大幅壓縮了MoE專家通信空轉(zhuǎn)時(shí)間。

相較DeepSeek近期開源的DualPipe等MoE優(yōu)化方案,COMET可以像插件一樣直接接入已有的MoE訓(xùn)練框架,支持業(yè)界絕大部分主流大模型,無需對(duì)訓(xùn)練框架進(jìn)行侵入式改動(dòng)。因簡潔、通用的設(shè)計(jì)理念,該工作以5/5/5/4 的高分入選全球機(jī)器學(xué)習(xí)系統(tǒng)頂級(jí)會(huì)議 MLSys 2025 ,被認(rèn)為“在大規(guī)模生產(chǎn)環(huán)境中極具應(yīng)用潛力”。

具體而言, COMET 從系統(tǒng)層面建立了面向 MoE 的細(xì)粒度流水線編程方式,通過引入共享張量依賴解析、自適應(yīng)負(fù)載分配兩項(xiàng)關(guān)鍵機(jī)制,來解決通信與計(jì)算之間的粒度錯(cuò)配問題,并精準(zhǔn)平衡通信與計(jì)算負(fù)載,最終大幅提升MoE流水線整體效率。 引入COMET后,單個(gè) MoE 層上可實(shí)現(xiàn) 1.96 倍加速、端到端平均 1.71 倍效率提升,且在不同并行策略、輸入規(guī)模及硬件環(huán)境下均表現(xiàn)穩(wěn)定。

截屏2025-03-10 16.30.30

COMET 的設(shè)計(jì)結(jié)構(gòu)

COMET 與Deepseek 研發(fā)的DualPipe方案還可以聯(lián)合使用。在降低MoE通信開銷上,COMET 采用了計(jì)算-通信融合算子的優(yōu)化方式, DualPipe則通過排布算子來掩蓋通信,兩種方案并不沖突,結(jié)合使用或?qū)⒏蠓葔嚎s模型訓(xùn)練成本。

目前,COMET支持多種MoE并行模式,部署靈活、方便。同時(shí),COMET核心代碼已開源,并向開發(fā)者提供了一套友好的 Python API,計(jì)劃兼容 Triton 等編譯生態(tài)。

COMET論文鏈接:https://arxiv.org/pdf/2502.19811

開源地址:https://github.com/bytedance/flux

 
 
更多>同類內(nèi)容
推薦圖文
推薦內(nèi)容
點(diǎn)擊排行
 
智快科技微信賬號(hào)
ITBear微信賬號(hào)

微信掃一掃
加微信拉群
電動(dòng)汽車群
科技數(shù)碼群

主站蜘蛛池模板: 亚洲高清在线天堂精品 | 自拍偷拍五月天 | 精品久久免费观看 | 国产高清一级在线观看 | 四虎8848精品永久在线观看 | 久久国产综合精品欧美 | 91中文字字幕乱码 | 久久一区二区三区免费播放 | 国产色片在线观看 | 精品400部自拍视频在线播放 | 欧美成人精品手机在线观看 | 亚洲人成影院77777 | 亚洲伊人国产 | 激情网站在线观看 | 在线视频观看国产 | 九九精品影院 | 欧美日韩在线精品成人综合网 | 在线看欧美日韩中文字幕 | 自拍偷拍第2页 | 欧美一区二区视频在线观看 | 国产一二三| 99久久精品无码一区二区毛片 | 五月婷婷六月丁香 | 久久精品无码一区二区三区 | 国产日产欧美一区二区三区 | 在线视频这里只有精品 | 视频国产一区 | 国产成人精品第一区二区 | 欧美日韩国产综合在线 | 伊人网综合在线观看 | 久久综合久久综合久久 | avtt男人天堂 | 综合久久久久久久综合网 | 永久免费毛片在线播放 | 亚洲十欧美十日韩十国产 | www·麻豆| 亚洲第一视频在线观看 | 一级电影在线免费观看 | 亚洲精品国产成人 | 一级毛片大全免费播放 | 久久精品视屏 |