国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領先的互聯網科技媒體

科大訊飛華為聯手,“飛星一號”MoE模型集群推理性能翻倍突破極限!

   時間:2025-04-18 16:09 來源:ITBEAR作者:顧雨柔

科大訊飛與華為昇騰攜手,在“飛星一號”平臺上實現了MoE模型集群推理性能的顯著提升。這一突破性進展,標志著國產算力在AI領域的應用邁出了重要一步。

據悉,雙方聯合團隊通過一系列創新優化手段,成功將MoE模型在“飛星一號”平臺上的集群推理性能翻倍。這一成就不僅彰顯了國產算力在處理復雜AI任務方面的潛力,更為AI技術的廣泛應用提供了有力支持。

在此次優化過程中,聯合團隊針對MoE模型的特性,升級了PD分離+大規模專家并行系統解決方案。他們通過定制集合通信協議,有效消除了集合通信流量沖突,解決了推理過程中Prefill階段和Decode階段的相互干擾問題。這一創新舉措使得P實例和D實例均達到了系統最優狀態,性能提升超過20%。

聯合團隊還在國產算力上實現了MTP多token預測技術,這一技術的引入顯著降低了MTP層的計算耗時,整體性能提升超過30%。同時,他們還對專家負載均衡算法進行了升級,實現了多DP負載均衡,卡間負載均衡差異小于8%,集群推理吞吐性能因此提升了30%以上。

聯合團隊還創新性地實現了異步雙發射技術。這一技術有效解決了高并發下的高CPU負載問題,實現了CPU和NPU的高效協同。通過降低服務請求調度耗時,系統性能得到了進一步提升,提升幅度達到10%。

基于上述一系列創新解決方案的迭代與升級,聯合團隊在“飛星一號”平臺上對星火MoE模型、DeepSeekV3/R1進行了實測。測試結果顯示,推理性能相較于上一個版本有了顯著提升,幾乎逼近了國產算力上MoE集群推理的性能上限。這一突破性進展無疑為國產算力在AI領域的應用注入了新的活力。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群

主站蜘蛛池模板: 国产精品久久久一区二区三区 | 自拍1页| 欧美精品久久久久久久久大尺度 | 最新欧美精品一区二区三区 | 精品国产综合成人亚洲区 | 亚洲人成网国产最新在线 | 性欧美激情在线观看 | 亚洲福利专区 | 欧美激情精品久久久久久久 | 亚洲男人的天堂久久无 | 婷婷色在线| 欧美亚洲国产精品久久高清 | 日本免费一区二区三区在线看 | 丁香激情综合网 | 婷婷丁香在线 | 男人天堂v| 精品一区二区三区色花堂 | 久久精品人人做人人综合试看 | 午夜小视频免费 | 亚洲视频欧洲视频 | 国产精品视频免费的 | 性无码专区无码 | 第一精品福利 | 亚洲精品国产免费 | 国产日韩欧美一区二区 | 午夜小福利 | 中文字幕免费在线观看动作大片 | 九月丁香婷婷亚洲综合色 | 国产网站免费在线观看 | 99爱在线视频这里只有精品 | 丁香花成人 | 免费久久精品 | 中国国产成人精品久久 | 伊人亚洲影院 | 美女下部隐私免费网站视频 | 国产精品高清视亚洲乱码 | 国产精品免费在线播放 | 久草电影天堂 | 九九电影网站 | 久久久久久亚洲精品不卡 | 中文字幕 亚洲精品 第1页 |