近日，AI大模型DeepSeek-R1的使用難題成為了用戶(hù)們關(guān)注的焦點(diǎn)。此前，用戶(hù)主要通過(guò)云服務(wù)或本地部署來(lái)使用這款模型，但云服務(wù)頻繁宕機(jī)，而本地部署的版本多為參數(shù)量大幅縮水的蒸餾版。對(duì)于一般用戶(hù)而言，在普通硬件上運(yùn)行DeepSeek-R1的滿(mǎn)血版幾乎是不可能的任務(wù)，即便是開(kāi)發(fā)者，租賃服務(wù)器的成本也令人望而卻步。

然而，這一局面即將迎來(lái)重大改變。清華大學(xué)KVCache.AI團(tuán)隊(duì)與趨境科技攜手發(fā)布的KTransformers開(kāi)源項(xiàng)目，近日宣布取得了突破性進(jìn)展，成功破解了千億級(jí)大模型本地部署的難題。這一突破標(biāo)志著大模型推理將擺脫“云端壟斷”，走向更加普惠化的道路。

據(jù)KTransformers團(tuán)隊(duì)介紹，他們已在配備24GB顯存和382GB內(nèi)存的PC上成功實(shí)現(xiàn)了DeepSeek-R1、V3的671B滿(mǎn)血版的本地運(yùn)行，速度提高了3至28倍。不僅如此，他們還宣布支持更長(zhǎng)的上下文（24GB單卡支持4~8K），并實(shí)現(xiàn)了15%的加速，每秒最多可處理16個(gè)Tokens。

KTransformers作為一個(gè)以Python為中心的靈活框架，其核心設(shè)計(jì)注重可擴(kuò)展性。用戶(hù)只需通過(guò)一行代碼即可實(shí)現(xiàn)和注入優(yōu)化模塊，從而訪問(wèn)兼容Transformers的界面、符合OpenAI和Ollama標(biāo)準(zhǔn)的RESTful API，甚至是類(lèi)似ChatGPT的簡(jiǎn)化網(wǎng)頁(yè)用戶(hù)界面。這一技術(shù)的推出，徹底改寫(xiě)了AI大模型依賴(lài)昂貴云服務(wù)器的歷史格局。

DeepSeek-R1基于混合專(zhuān)家（MoE）架構(gòu)，通過(guò)將任務(wù)分配給不同專(zhuān)家模塊，并在每次推理時(shí)僅激活部分參數(shù)來(lái)提高效率。KTransformers團(tuán)隊(duì)創(chuàng)新性地將非共享稀疏矩陣卸載至CPU內(nèi)存處理，并結(jié)合高速算子優(yōu)化，成功將顯存需求從傳統(tǒng)8卡A100的320GB壓縮至單卡24GB。這一創(chuàng)新使得普通用戶(hù)只需24G顯存即可在本地運(yùn)行DeepSeek-R1、V3的671B滿(mǎn)血版，預(yù)處理速度最高可達(dá)286 tokens/s，推理生成速度最高能達(dá)到14 tokens/s。

KTransformers團(tuán)隊(duì)還通過(guò)減少CPU/GPU通信斷點(diǎn)，實(shí)現(xiàn)單次解碼僅需一次完整的CUDA Graph調(diào)用，生成速度優(yōu)化至14 tokens/s，功耗僅為80W，整機(jī)成本約2萬(wàn)元，僅為傳統(tǒng)8卡A100方案的2%。經(jīng)過(guò)開(kāi)發(fā)者實(shí)測(cè)，使用RTX 3090顯卡和200GB內(nèi)存配置，結(jié)合Unsloth優(yōu)化，Q2_K_XL模型推理速度可達(dá)9.1 tokens/s，實(shí)現(xiàn)了千億級(jí)模型的“家庭化”運(yùn)行。

值得注意的是，KTransformers并非一個(gè)單純的推理框架，也不限于DeepSeek模型。它可以兼容各式各樣的MoE模型和算子，能夠集成各種算子并進(jìn)行各種組合的測(cè)試。同時(shí)，KTransformers還提供了Windows、Linux平臺(tái)的支持，感興趣的用戶(hù)可自行嘗試。但要想使用KTransformers，也需要滿(mǎn)足一定的硬件條件，包括英特爾至強(qiáng)Gold 6454S 1T DRAM CPU、RTX 4090D（24G VRAM）GPU、標(biāo)準(zhǔn)DDR5-4800服務(wù)器DRAM（1TB）內(nèi)存以及CUDA 12.1或更高版本。