近日，科大訊飛研究院攜手華為昇騰團(tuán)隊(duì)，在“飛星一號”平臺上取得了MoE模型集群推理性能優(yōu)化的重大突破。經(jīng)過一系列創(chuàng)新技術(shù)的研發(fā)與實(shí)施，該團(tuán)隊(duì)成功實(shí)現(xiàn)了大規(guī)模專家并行集群推理性能的顯著提升，性能翻倍的佳績令人矚目。

科大訊飛在國產(chǎn)算力集群領(lǐng)域一直處于領(lǐng)先地位，此次更是在MoE模型的大規(guī)模跨節(jié)點(diǎn)專家并行集群推理方面邁出了重要一步。此前，科大訊飛已經(jīng)發(fā)布了基于國產(chǎn)算力的首個MoE模型訓(xùn)練與推理解決方案，為業(yè)界樹立了標(biāo)桿。在此基礎(chǔ)上，科大訊飛與華為昇騰的聯(lián)合團(tuán)隊(duì)再次發(fā)力，對適配MoE模型的PD分離+大規(guī)模專家并行系統(tǒng)解決方案進(jìn)行了全面升級。

此次升級的關(guān)鍵技術(shù)創(chuàng)新點(diǎn)之一，在于針對MoE模型的PD分離部署進(jìn)行了定制化的集合通信協(xié)議設(shè)計。這一設(shè)計有效解決了集合通信流量沖突問題，消除了推理過程中Prefill階段和Decode階段的相互干擾，使得P實(shí)例和D實(shí)例均能發(fā)揮出最佳性能，整體性能因此提升了20%以上。

聯(lián)合團(tuán)隊(duì)還在國產(chǎn)算力上成功實(shí)現(xiàn)了MTP多token預(yù)測技術(shù)，這一技術(shù)的引入大幅降低了MTP層的計算耗時，使得整體性能再次提升了30%以上。這一突破不僅展示了團(tuán)隊(duì)在技術(shù)創(chuàng)新方面的實(shí)力，也為國產(chǎn)算力在大規(guī)模模型推理領(lǐng)域的應(yīng)用開辟了更廣闊的空間。

在專家負(fù)載均衡算法方面，團(tuán)隊(duì)也進(jìn)行了深入優(yōu)化。通過采用多DP負(fù)載均衡技術(shù)，團(tuán)隊(duì)成功將卡間負(fù)載均衡差異控制在8%以內(nèi)，從而顯著提升了集群推理的吞吐性能，性能提升幅度超過30%。這一優(yōu)化措施有效解決了集群推理過程中可能出現(xiàn)的資源瓶頸問題，提升了系統(tǒng)的整體運(yùn)行效率。

聯(lián)合團(tuán)隊(duì)還創(chuàng)新性地引入了異步雙發(fā)射技術(shù)，這一技術(shù)的實(shí)施有效解決了高并發(fā)場景下的高CPU負(fù)載問題。通過實(shí)現(xiàn)CPU與NPU之間的高效協(xié)同，這一改進(jìn)不僅降低了服務(wù)請求調(diào)度的耗時，還使得系統(tǒng)性能整體提升了10%。這一技術(shù)突破為大規(guī)模模型推理性能的提升提供了新的思路和解決方案。

經(jīng)過上述一系列優(yōu)化與升級，聯(lián)合團(tuán)隊(duì)在“飛星一號”平臺上對星火MoE模型、DeepSeekV3/R1等模型進(jìn)行了實(shí)際測試。測試結(jié)果顯示，這些模型的推理性能相較于上一版本實(shí)現(xiàn)了翻倍提升，已經(jīng)接近國產(chǎn)算力上MoE集群推理的性能上限。這一成果不僅標(biāo)志著國產(chǎn)算力在大規(guī)模模型推理領(lǐng)域的技術(shù)水平邁上了新臺階，也為后續(xù)的技術(shù)研發(fā)和應(yīng)用推廣奠定了堅實(shí)基礎(chǔ)。