近期，Epoch AI這一非營(yíng)利性人工智能研究機(jī)構(gòu)發(fā)布了一份引人深思的報(bào)告，揭示了AI企業(yè)在推理模型領(lǐng)域面臨的性能增長(zhǎng)瓶頸。報(bào)告預(yù)測(cè)，未來(lái)一年內(nèi)，推理模型的性能提升速度或?qū)@著放緩。

這份報(bào)告深入分析了公開(kāi)數(shù)據(jù)與多項(xiàng)假設(shè)，指出計(jì)算資源的有限性以及研究成本的急劇上升，成為了制約AI性能持續(xù)飛躍的關(guān)鍵因素。長(zhǎng)久以來(lái)，AI行業(yè)依靠推理模型不斷刷新基準(zhǔn)測(cè)試成績(jī)，然而這一模式正遭遇前所未有的挑戰(zhàn)。

Epoch AI的分析師Josh You指出，推理模型之所以備受矚目，是因?yàn)樗鼈冊(cè)谔囟☉?yīng)用場(chǎng)景下展現(xiàn)出了卓越的能力。以O(shè)penAI的o3模型為例，該模型近幾個(gè)月來(lái)在數(shù)學(xué)與編程技能方面取得了顯著進(jìn)步。然而，這些推理模型性能的提升，往往是以增加計(jì)算資源為代價(jià)的。面對(duì)復(fù)雜任務(wù)，它們需要更多的計(jì)算力，從而導(dǎo)致了處理時(shí)間的延長(zhǎng)。

推理模型的訓(xùn)練過(guò)程頗具創(chuàng)新性，它首先基于海量數(shù)據(jù)進(jìn)行常規(guī)模型的訓(xùn)練，隨后引入強(qiáng)化學(xué)習(xí)技術(shù)。這種技術(shù)如同為模型提供“智慧反饋”，幫助其不斷優(yōu)化解決難題的策略。這一方法極大地加速了AI的迭代速度，但同時(shí)也暴露出了潛在的局限性。

OpenAI等前沿AI實(shí)驗(yàn)室正加大對(duì)強(qiáng)化學(xué)習(xí)的投入。據(jù)透露，在訓(xùn)練o3模型時(shí)，OpenAI使用了約十倍于前代o1模型的計(jì)算資源，其中大部分用于強(qiáng)化學(xué)習(xí)階段。研究者Dan Roberts表示，OpenAI的未來(lái)規(guī)劃將繼續(xù)優(yōu)先發(fā)展強(qiáng)化學(xué)習(xí)，并計(jì)劃投入更多的計(jì)算力，這一力度甚至將超過(guò)初始模型訓(xùn)練時(shí)的水平。

盡管這種策略在一定程度上加速了模型的改進(jìn)，但Epoch AI的分析卻提醒我們，這種改進(jìn)并非沒(méi)有邊界。隨著計(jì)算資源的增加，物理與經(jīng)濟(jì)的雙重約束開(kāi)始顯現(xiàn)。Josh You在報(bào)告中詳細(xì)闡述了性能增長(zhǎng)的差異，指出標(biāo)準(zhǔn)AI模型訓(xùn)練的性能目前保持著每年翻番的速度，而強(qiáng)化學(xué)習(xí)的性能則每3-5個(gè)月就能增長(zhǎng)十倍。然而，這種快速增長(zhǎng)的趨勢(shì)預(yù)計(jì)將在2026年前后與整體AI前沿進(jìn)展趨于一致。

Josh You還強(qiáng)調(diào)，推理模型的規(guī)模化不僅面臨著計(jì)算資源的問(wèn)題，高昂的研究開(kāi)銷同樣不容忽視。他警告說(shuō)：“如果研究成本持續(xù)高企，推理模型可能無(wú)法達(dá)到預(yù)期的規(guī)模。”這一觀點(diǎn)無(wú)疑為AI行業(yè)的未來(lái)發(fā)展蒙上了一層陰影。