国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領先的互聯網科技媒體

科大訊飛華為聯手,“飛星一號”MoE模型集群推理性能翻倍突破極限!

   時間:2025-04-18 16:09 來源:ITBEAR作者:顧雨柔

科大訊飛與華為昇騰攜手,在“飛星一號”平臺上實現了MoE模型集群推理性能的顯著提升。這一突破性進展,標志著國產算力在AI領域的應用邁出了重要一步。

據悉,雙方聯合團隊通過一系列創新優化手段,成功將MoE模型在“飛星一號”平臺上的集群推理性能翻倍。這一成就不僅彰顯了國產算力在處理復雜AI任務方面的潛力,更為AI技術的廣泛應用提供了有力支持。

在此次優化過程中,聯合團隊針對MoE模型的特性,升級了PD分離+大規模專家并行系統解決方案。他們通過定制集合通信協議,有效消除了集合通信流量沖突,解決了推理過程中Prefill階段和Decode階段的相互干擾問題。這一創新舉措使得P實例和D實例均達到了系統最優狀態,性能提升超過20%。

聯合團隊還在國產算力上實現了MTP多token預測技術,這一技術的引入顯著降低了MTP層的計算耗時,整體性能提升超過30%。同時,他們還對專家負載均衡算法進行了升級,實現了多DP負載均衡,卡間負載均衡差異小于8%,集群推理吞吐性能因此提升了30%以上。

聯合團隊還創新性地實現了異步雙發射技術。這一技術有效解決了高并發下的高CPU負載問題,實現了CPU和NPU的高效協同。通過降低服務請求調度耗時,系統性能得到了進一步提升,提升幅度達到10%。

基于上述一系列創新解決方案的迭代與升級,聯合團隊在“飛星一號”平臺上對星火MoE模型、DeepSeekV3/R1進行了實測。測試結果顯示,推理性能相較于上一個版本有了顯著提升,幾乎逼近了國產算力上MoE集群推理的性能上限。這一突破性進展無疑為國產算力在AI領域的應用注入了新的活力。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群

主站蜘蛛池模板: 国产精品第一区在线观看 | 全国男人的天堂网 | 久久一区二区精品 | 色婷婷综合激情 | 亚洲午夜精品久久久久久抢 | 免费瑟瑟网站查找 | 在线播放亚洲视频 | 亚洲天堂网2018 | 久久久免费的精品 | 一区二区三区欧美日韩 | sese天堂| 毛片网站免费在线观看 | 在线精品亚洲欧洲第一页 | 亚洲福利在线视频 | 俄罗斯三级完整版在线观看 | 羞羞的视频在线 | 日韩毛片免费视频 | 亚洲天堂中文网 | 99精品久久久久久久 | 亚洲色图综合网 | 在线观看色视频 | 久久精品一区二区三区四区 | 亚洲女人天堂网 | 国内精品久久久久久久久蜜桃 | 国内精品久久久久 | 最近中文字幕无吗免费高清 | 高清偷自拍第1页 | 亚洲男人的天堂2019 | 自拍偷拍第一 | 国产精品电影院 | 中文字幕在线永久在线视频2020 | 亚洲六月丁香六月婷婷色伊人 | 一区二区三区四区视频 | 在线视频一区二区三区三区不卡 | 免费在线观看日本 | 欧美日韩国产在线成人网 | 亚洲成熟人网站 | 成人丁香婷婷 | 亚洲男人的天堂成人 | 国产在线观看免费一级 | 亚洲乱论|