国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領先的互聯網科技媒體

科大訊飛華為聯手,“飛星一號”MoE模型集群推理性能翻倍突破極限!

   時間:2025-04-18 16:09 來源:ITBEAR作者:顧雨柔

科大訊飛與華為昇騰攜手,在“飛星一號”平臺上實現了MoE模型集群推理性能的顯著提升。這一突破性進展,標志著國產算力在AI領域的應用邁出了重要一步。

據悉,雙方聯合團隊通過一系列創新優化手段,成功將MoE模型在“飛星一號”平臺上的集群推理性能翻倍。這一成就不僅彰顯了國產算力在處理復雜AI任務方面的潛力,更為AI技術的廣泛應用提供了有力支持。

在此次優化過程中,聯合團隊針對MoE模型的特性,升級了PD分離+大規模專家并行系統解決方案。他們通過定制集合通信協議,有效消除了集合通信流量沖突,解決了推理過程中Prefill階段和Decode階段的相互干擾問題。這一創新舉措使得P實例和D實例均達到了系統最優狀態,性能提升超過20%。

聯合團隊還在國產算力上實現了MTP多token預測技術,這一技術的引入顯著降低了MTP層的計算耗時,整體性能提升超過30%。同時,他們還對專家負載均衡算法進行了升級,實現了多DP負載均衡,卡間負載均衡差異小于8%,集群推理吞吐性能因此提升了30%以上。

聯合團隊還創新性地實現了異步雙發射技術。這一技術有效解決了高并發下的高CPU負載問題,實現了CPU和NPU的高效協同。通過降低服務請求調度耗時,系統性能得到了進一步提升,提升幅度達到10%。

基于上述一系列創新解決方案的迭代與升級,聯合團隊在“飛星一號”平臺上對星火MoE模型、DeepSeekV3/R1進行了實測。測試結果顯示,推理性能相較于上一個版本有了顯著提升,幾乎逼近了國產算力上MoE集群推理的性能上限。這一突破性進展無疑為國產算力在AI領域的應用注入了新的活力。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群

主站蜘蛛池模板: 羞羞免费网页登界面入口 | 一区二区三区免费视频播放器 | 亚洲视频免 | 久久综合久久精品 | 亚洲人成电影 | 久久男人天堂 | 男女羞羞的视频网站在线观看 | 在线亚洲精品视频 | 自拍1区| 精品国产麻豆 | 自拍三区 | 国产成人精品久久一区二区三区 | 欧美日韩综合一区 | 婷婷丁香五月中文字幕 | 无毛片 | 亚洲一区不卡视频 | 国产高清在线观看视频手机版 | 在线免费观看色视频 | 欧美成人性色生活片免费在线观看 | 永久免费观看视频 | 国产人成精品 | 五月激情啪啪 | 欧美羞羞视频 | 丁香花在线电影播放 | 在线观看日韩欧美 | 国产一区日韩二区欧美三 | 亚洲国产成人久久精品图片 | 亚洲宅男天堂 | 在线免费视频国产 | 在线亚洲播放 | 欧美日本高清视频在线观看 | 亚洲影视久久 | 一木道一二三区精品 | 亚洲男人天堂av | 日韩精品成人免费观看 | 亚洲精品乱码久久久久久 | 日韩一区二区精品久久高清 | 在线视频日韩欧美 | 日韩欧美综合在线 | 久久99精品久久久久久首页 | 激情网址在线观看 |