摩爾線程官方今日宣布，已成功將大語言模型高速推理框架vLLM的MUSA移植版本上線，此舉旨在為開發者提供基于摩爾線程全功能GPU進行開源項目MUSA移植的參考。
據悉，vLLM作為一款高效且便捷的大模型推理和服務框架，已在眾多大語言模型中發揮關鍵作用，并逐漸成為行業內廣泛采用的開源推理框架。
摩爾線程團隊針對vLLM v0.4.2版本進行了詳盡的移植適配工作，為vLLM框架新增了摩爾線程GPU后端Device支持，并慷慨地將移植后的vLLM-MUSA版本開源，供開發者社區使用。
通過這一開源項目，開發者們能夠基于摩爾線程GPU以及vLLM-MUSA進行更為深入的二次開發，同時也可輕松將vLLM升級至社區發布的最新版本。
摩爾線程進一步指出，其MUSA軟件棧與CUDA軟件棧接口的高度兼容性，不僅顯著提升了應用移植的效率，還大幅縮短了整個開發周期。為了進一步降低開發者在MUSA平臺上進行大語言模型訓練和推理應用適配的難度，摩爾線程還提供了一系列實用的工具和腳本，其中包括MUSIFY自動代碼移植工具。
對于對摩爾線程GPU及vLLM-MUSA開源項目感興趣的開發者，可通過訪問官方GitHub倉庫獲取更多信息和資源。附vLLM-MUSA開源地址：https://github.com/MooreThreads/vLLM_musa
此舉無疑將促進大語言模型推理領域的技術發展，并為開發者社區帶來更多的便利與創新機會。
