華為技術(shù)有限公司近期宣布了一項(xiàng)重要進(jìn)展，其MindSpeed平臺現(xiàn)已全面支持DeepSeek V3模型的預(yù)訓(xùn)練及微調(diào)工作。這一消息標(biāo)志著華為在人工智能領(lǐng)域的技術(shù)實(shí)力再次得到彰顯。

具體而言，MindSpeed平臺在支持DeepSeek V3模型時(shí)，采用了高效的并行配置和精細(xì)的模型參數(shù)設(shè)置。這些設(shè)置確保了模型在預(yù)訓(xùn)練和微調(diào)階段能夠達(dá)到最佳性能。相關(guān)配置和參數(shù)的詳細(xì)信息，以圖表形式呈現(xiàn)，清晰直觀。

DeepSeek團(tuán)隊(duì)通過創(chuàng)新的知識蒸餾技術(shù)，成功實(shí)現(xiàn)了小型模型在推理能力上的大幅提升。華為表示，他們已在昇騰平臺上完成了蒸餾流程的驗(yàn)證，經(jīng)過蒸餾的Qwen模型在特定領(lǐng)域上的表現(xiàn)取得了顯著進(jìn)步。這一成果為開發(fā)者提供了寶貴的參考，使他們能夠基于這一流程訓(xùn)練出性能更優(yōu)的自定義模型。

華為昇騰平臺還完成了對Open R1項(xiàng)目的重要適配工作。Open R1是一個(gè)旨在完全復(fù)現(xiàn)DeepSeek-R1模型流程的開源項(xiàng)目，由Hugging Face官方發(fā)起。華為昇騰平臺成功打通了Open R1-Zero的GRPO流程，并支持通過vLLM等生態(tài)庫在訓(xùn)練過程中生成數(shù)據(jù)。這一進(jìn)展為DeepSeek-R1模型的訓(xùn)練流程構(gòu)建提供了有力支持。

Open R1項(xiàng)目自發(fā)布以來，受到了業(yè)界的廣泛關(guān)注。目前，該項(xiàng)目已在GitHub上獲得了超過18000個(gè)星標(biāo)，成為主流復(fù)現(xiàn)項(xiàng)目之一。華為昇騰平臺的適配工作無疑將進(jìn)一步推動該項(xiàng)目的發(fā)展，為更多開發(fā)者提供便捷、高效的模型復(fù)現(xiàn)和訓(xùn)練工具。

華為此次宣布的進(jìn)展，不僅展示了其在人工智能領(lǐng)域的深厚技術(shù)積累，也為行業(yè)內(nèi)的開發(fā)者提供了更多選擇和可能性。隨著技術(shù)的不斷進(jìn)步和應(yīng)用場景的不斷拓展，華為昇騰平臺將繼續(xù)發(fā)揮其在人工智能領(lǐng)域的優(yōu)勢，推動行業(yè)的持續(xù)發(fā)展和創(chuàng)新。