国产98在线 | 传媒麻豆,久久―日本道色综合久久,久久久精品久久久久久久久久久,国产成人精品免费久久久久,五月综合色婷婷影院在线观看,久久久亚洲精品视频

  • 虎科技 - 領先的互聯網科技媒體

螞蟻集團新MoE大模型:國產芯片訓練,成本大降!

   時間:2025-03-24 15:39 來源:ITBEAR作者:趙云飛

近日,螞蟻集團的Ling團隊在預印版Arxiv平臺上發布了一篇技術論文,揭示了該團隊在混合專家(MoE)大語言模型領域的最新突破。他們推出了兩款名為百靈輕量版(Ling-Lite)與百靈增強版(Ling-Plus)的新模型,并提出了一系列創新方法,使得在低性能硬件上高效訓練大模型成為可能,極大地降低了成本。

百靈輕量版擁有168億參數(其中27.5億為激活參數),而增強版基座模型的參數規模更是高達2900億(激活參數為288億)。這兩款模型在性能上均達到了行業領先水平。實驗證明,即使在使用國產GPU的低性能設備上,3000億參數的MoE大模型也能完成高效訓練,其性能與完全使用英偉達芯片的同規模稠密模型及MoE模型不相上下。

通常,MoE模型的訓練依賴于高性能GPU,如英偉達的H100或H800,但高昂的成本和芯片短缺問題限制了其在資源受限環境中的應用。螞蟻集團Ling團隊針對這一問題,提出了“不使用高級GPU”擴展模型的目標,并通過一系列創新訓練策略,成功突破了資源與預算的限制。

這些創新策略包括架構與訓練策略的革新,采用了動態參數分配與混合精度調度技術;升級了訓練異常處理機制,通過自適應容錯恢復系統縮短了中斷響應時間;優化了模型評估流程,自動化評測框架使得驗證周期縮短了超過50%;還突破了工具調用能力,基于知識圖譜的指令微調提升了復雜任務的執行精度。

為了驗證這些創新方法的有效性,Ling團隊在五種不同硬件配置下對9萬億個token進行了Ling-Plus的預訓練。結果顯示,使用高性能硬件配置訓練1萬億token的預訓練成本約為635萬元人民幣。而采用螞蟻集團的優化方法后,低規格硬件的訓練成本降至約508萬元人民幣,節省了近20%的成本。同時,該模型的性能與阿里的通義Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相當。

此前,DeepSeek已通過算法創新和工程優化,使用英偉達H800訓練出了性能頂尖的V3與R1模型,為降低成本和提高效率開辟了新途徑。螞蟻集團的這一技術成果,如果得到驗證和推廣,將有助于國產大模型尋找成本更低、效率更高的國產芯片或其他替代方案,進一步降低對英偉達芯片的依賴。

螞蟻集團的Ling團隊還強調了他們在訓練過程中的靈活性和適應性。通過優化訓練策略和異常處理機制,他們能夠在不同硬件配置上實現高效訓練,這對于推動大模型在更廣泛場景中的應用具有重要意義。

這一技術突破不僅展示了螞蟻集團在人工智能領域的深厚實力,也為國產大模型的發展提供了新的思路和方向。未來,隨著技術的不斷成熟和應用場景的拓展,國產大模型有望在全球市場上占據更加重要的地位。

螞蟻集團的Ling團隊在技術創新的同時,也注重了技術的開放性和共享性。他們希望通過與行業伙伴的合作與交流,共同推動人工智能技術的快速發展和廣泛應用。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群

主站蜘蛛池模板: 正在播放国产伦理片 | 四虎影库网址 | 国产97视频在线观看 | 麻豆精品传媒 | 自拍网在线 | 欧美视频在线观看一区 | 中文字幕久久亚洲一区 | 五月天精品在线 | 免费日韩精品 | 婷婷丁香五月中文字幕 | 婷婷色九月综合激情丁香 | 国产成人精品日本亚洲专一区 | 欧美一区二区日韩一区二区 | 日韩免费高清一级毛片久久 | 四虎午夜影院 | 国产精品免费小视频 | 爱爱小视频网站 | 在线你懂得 | 亚亚洲乱码一二三四区 | 男女羞羞网站 | 亚洲福利区 | 亚洲精品第一国产麻豆 | 男人的天堂在线免费观看 | 一级电影院 | 中文字幕国产精品 | 水蜜桃po | 在线视频国产网址你懂的在线视频 | 影视精品网站入口 | 羞羞动漫入口 | 亚洲品质自拍视频网站 | 亚洲国产精品第一区二区 | 蜜桃久久久 | 在线观看国产精品入口 | 激情文学综合丁香 | 亚洲欧美激情综合第一区 | 亚洲视频自拍偷拍 | 欧美午夜色视频国产精品 | 精品视频久久久久 | 亚欧成人一区二区 | 999国产精品999久久久久久 | 久久久久女人精品毛片 |