近期，一家專注于大模型架構(gòu)創(chuàng)新的企業(yè)——元始智能（RWKV），成功完成了數(shù)千萬人民幣的天使輪融資。本輪融資由天際資本獨家領(lǐng)投，融資后公司估值實現(xiàn)了翻倍增長。這筆資金將主要用于團(tuán)隊規(guī)模的擴大、新架構(gòu)的研發(fā)迭代以及產(chǎn)品的商業(yè)化推廣。
自2022年11月OpenAI推出ChatGPT以來，生成式AI技術(shù)迅速席卷全球，而Transformer架構(gòu)及其背后的Scaling Law成為了這場技術(shù)革命的核心。通過大幅提升AI模型的參數(shù)規(guī)模，從億級躍升至千億、萬億級別，大語言模型（LLM）在學(xué)習(xí)了龐大的數(shù)據(jù)后，展現(xiàn)出了前所未有的智能。
然而，大模型并非無所不能。幻覺問題和準(zhǔn)確率的局限性，成為了其難以克服的障礙。隨著2024年大模型迭代速度的放緩，無論是學(xué)術(shù)界還是工業(yè)界，都開始對Transformer架構(gòu)及其背后的Scaling Law進(jìn)行深入探討。
正是在這樣的背景下，元始智能（RWKV）應(yīng)運而生，致力于探索超越Transformer架構(gòu)的新路徑。聯(lián)合創(chuàng)始人羅璇表示：“我們不僅僅是一家大模型公司，更是一家具備持續(xù)創(chuàng)新AI模型底層架構(gòu)能力的‘黑科技’企業(yè)。”
RWKV的創(chuàng)始人彭博，一位畢業(yè)于香港大學(xué)物理系的量化交易專家，自2020年起便獨立開發(fā)RWKV這一創(chuàng)新架構(gòu)。從2022年底發(fā)布首個模型，到如今商業(yè)公司的正式成立，RWKV團(tuán)隊已從最初的3人壯大至近20人。
與依賴巨額算力和數(shù)據(jù)的Transformer架構(gòu)不同，RWKV選擇了一條更為高效和靈活的技術(shù)路線。羅璇解釋道：“Transformer架構(gòu)在處理對話時，需要重復(fù)讀取前文并記錄每個Token的狀態(tài)，這導(dǎo)致其信息處理效率低下且算力需求巨大。而RWKV則無需記錄每個Token的狀態(tài)，大大減少了計算量，實現(xiàn)了高效推理。”
RWKV的技術(shù)突破在于，它將Transformer的高效并行訓(xùn)練與RNN的高效推理能力相結(jié)合。雖然RNN并非新技術(shù)，且過去被認(rèn)為能力弱于Transformer，但RWKV證明了改進(jìn)后的RNN不僅效率更高，而且同樣具備強大的語言建模能力。
然而，RWKV也面臨一個挑戰(zhàn)：作為狀態(tài)空間大小固定的RNN，它無法將無限長度的前文全部壓縮進(jìn)狀態(tài)空間。這意味著RWKV會逐漸遺忘一些細(xì)節(jié)。但彭博認(rèn)為，這并非缺陷。通過引入強化學(xué)習(xí)方法，RWKV可以自動判斷在必要時重新閱讀前文，這比Transformer的“強行記憶”更為高效。
RWKV的特性使其在寫作、音樂生成等創(chuàng)意性場景中更具優(yōu)勢。羅璇表示：“RWKV的架構(gòu)更接近人腦的記憶演繹機制，能夠產(chǎn)生更具創(chuàng)新性的內(nèi)容。”目前，RWKV已經(jīng)完成了從0.1B到14B的模型訓(xùn)練，并發(fā)布了32B的預(yù)覽模型。其最新版本的RWKV-7模型，在同等參數(shù)規(guī)模下全面超越了Transformer架構(gòu)的性能。
RWKV-7不僅在模型學(xué)習(xí)效率上更快提升準(zhǔn)確度，而且在核心benchmark測試中表現(xiàn)更優(yōu)。其記憶力也顯著增強。例如，0.1B的RWKV-7在4k上下文窗口下訓(xùn)練，就能自動解決16k的復(fù)雜問題。
除了技術(shù)上的突破，元始智能還在商業(yè)化方面取得了進(jìn)展。其公司業(yè)務(wù)分為兩大部分：一是將模型開源并持續(xù)保持全開源和免費；二是在商業(yè)實體方面，推出了AI音樂生成應(yīng)用，并面向B端市場提供模型授權(quán)服務(wù)。目前，已有包括騰訊、阿里在內(nèi)的多家高校和公司使用了RWKV。
在To B領(lǐng)域，元始智能選擇了智能和新能源兩大領(lǐng)域作為切入點，已與國家電網(wǎng)、有鹿機器人等企業(yè)達(dá)成合作。未來，元始智能計劃推出更大參數(shù)的RWKV-7模型及終端部署方案，并探索結(jié)合新型推理框架和芯片的大規(guī)模模型應(yīng)用。
