近期，科技領(lǐng)域迎來(lái)了一項(xiàng)重大進(jìn)展。OpenAI公司宣布，在其最新推出的o4-mini推理模型上，成功融入了強(qiáng)化微調(diào)技術(shù)（RFT），這一創(chuàng)新為定制化基礎(chǔ)模型以適應(yīng)多樣化任務(wù)提供了強(qiáng)有力的支持。

RFT技術(shù)將強(qiáng)化學(xué)習(xí)原理巧妙應(yīng)用于語(yǔ)言模型的微調(diào)階段，這意味著開(kāi)發(fā)者們不再完全依賴于標(biāo)注數(shù)據(jù)。相反，他們可以通過(guò)設(shè)計(jì)特定任務(wù)的評(píng)分函數(shù)來(lái)評(píng)估模型的輸出。這些評(píng)分函數(shù)基于自定義標(biāo)準(zhǔn)，如準(zhǔn)確性、格式或語(yǔ)氣，為模型的表現(xiàn)打分。模型則通過(guò)優(yōu)化獎(jiǎng)勵(lì)信號(hào)，逐步學(xué)習(xí)并生成符合預(yù)期的行為。

RFT特別適用于那些難以設(shè)定標(biāo)準(zhǔn)答案的復(fù)雜任務(wù)。例如，在醫(yī)療領(lǐng)域，措辭的優(yōu)化往往至關(guān)重要。開(kāi)發(fā)者可以利用程序評(píng)估醫(yī)療解釋的清晰度和完整性，從而指導(dǎo)模型不斷改進(jìn)。這種方法為處理各種復(fù)雜、領(lǐng)域特定的任務(wù)提供了全新的視角和解決方案。

o4-mini是OpenAI于今年4月發(fā)布的一款緊湊型推理模型，它支持文本和圖像輸入，尤其擅長(zhǎng)結(jié)構(gòu)化推理和鏈?zhǔn)剿季S提示。通過(guò)結(jié)合RFT技術(shù)，o4-mini為開(kāi)發(fā)者提供了一個(gè)既輕便又強(qiáng)大的基礎(chǔ)模型，非常適合處理高風(fēng)險(xiǎn)、領(lǐng)域特定的推理任務(wù)。其高計(jì)算效率和快速響應(yīng)的特點(diǎn)，也使得它在實(shí)時(shí)應(yīng)用場(chǎng)景中表現(xiàn)出色。

多家早期采用者已經(jīng)展示了RFT在o4-mini上的巨大潛力。例如，Accordance AI利用RFT開(kāi)發(fā)的稅務(wù)分析模型，準(zhǔn)確率提升了39%；Ambience Healthcare通過(guò)優(yōu)化醫(yī)療編碼，ICD-10分配性能提高了12個(gè)百分點(diǎn)；法律AI初創(chuàng)公司Harvey在法律文檔引文提取方面，F(xiàn)1分?jǐn)?shù)提升了20%；Runloop在改進(jìn)Stripe API代碼生成方面，性能也提升了12%。調(diào)度助手Milo和內(nèi)容審核工具SafetyKit也取得了顯著的進(jìn)步。

要使用RFT技術(shù)，開(kāi)發(fā)者需要完成四個(gè)步驟：首先，設(shè)計(jì)符合需求的評(píng)分函數(shù)；其次，準(zhǔn)備高質(zhì)量的數(shù)據(jù)集；然后，通過(guò)OpenAI API啟動(dòng)訓(xùn)練任務(wù)；最后，持續(xù)評(píng)估和優(yōu)化模型表現(xiàn)。這一流程為開(kāi)發(fā)者提供了清晰的指導(dǎo)和路徑。

目前，RFT技術(shù)向認(rèn)證組織開(kāi)放。訓(xùn)練費(fèi)用為每小時(shí)100美元，如果使用GPT-4o等模型作為評(píng)分工具，還將額外按標(biāo)準(zhǔn)推理費(fèi)率計(jì)費(fèi)。為了鼓勵(lì)更多組織參與研究和應(yīng)用，OpenAI還推出了激勵(lì)措施：同意共享數(shù)據(jù)集用于研究的組織可以享受50%的訓(xùn)練費(fèi)用折扣。

隨著RFT技術(shù)的不斷推廣和應(yīng)用，我們有理由相信，它將在更多領(lǐng)域發(fā)揮巨大的作用，推動(dòng)人工智能技術(shù)的進(jìn)一步發(fā)展和創(chuàng)新。