近期，由知名人工智能專家弗朗索瓦·肖萊攜手創(chuàng)立的非營利組織Arc Prize基金會，在其官方博客上揭曉了一項(xiàng)名為ARC-AGI-2的全新測試。該測試旨在深入評估當(dāng)前領(lǐng)先的人工智能模型的通用智能水平，其難度系數(shù)極高，令眾多AI模型望塵莫及。

根據(jù)Arc Prize排行榜的數(shù)據(jù)揭示，那些在推理領(lǐng)域表現(xiàn)突出的AI模型，例如OpenAI的o1-pro和DeepSeek的R1，在ARC-AGI-2測試中的得分僅僅徘徊在1%至1.3%之間。即便是GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Flash等強(qiáng)大的非推理型模型，其得分也僅維持在1%左右的低水平。

ARC-AGI測試由一系列復(fù)雜謎題構(gòu)成，要求AI從一組色彩斑斕的方塊中辨識出隱藏的視覺規(guī)律，并據(jù)此生成正確的“答案網(wǎng)格”。這些問題設(shè)計(jì)精巧，旨在考驗(yàn)AI面對全新問題的應(yīng)變能力。為了設(shè)定人類基線，Arc Prize基金會邀請了超過400名參與者參與ARC-AGI-2測試。結(jié)果顯示，這些參與者組成的“團(tuán)隊(duì)”平均正確解答了測試中60%的問題，這一成績遠(yuǎn)超所有AI模型的表現(xiàn)。

肖萊在X平臺上強(qiáng)調(diào)，相較于先前的ARC-AGI-1測試，ARC-AGI-2更能精準(zhǔn)反映AI模型的實(shí)際智能水平。Arc Prize基金會的測試旨在評估AI系統(tǒng)能否在脫離訓(xùn)練數(shù)據(jù)的情況下高效習(xí)得新技能。

肖萊指出，與ARC-AGI-1相比，新的測試版本有效防止了AI模型依賴“蠻力”——即龐大的計(jì)算能力——來尋找答案。他承認(rèn)，這是ARC-AGI-1的一個主要弊端。為了彌補(bǔ)這一不足，ARC-AGI-2引入了“效率”這一新指標(biāo)，并要求模型實(shí)時解讀模式，而非依賴記憶。

Arc Prize基金會聯(lián)合創(chuàng)始人格雷格·卡姆拉德在其博客文章中寫道：“智能不僅僅在于解決問題或獲取高分的能力，這些能力的獲取效率和部署方式同樣至關(guān)重要。我們提出的核心問題不僅限于‘AI能否習(xí)得完成任務(wù)所需的技能？’，還包括‘以何種效率和成本？’”

ARC-AGI-1在五年內(nèi)無人能敵，直到2024年12月，OpenAI發(fā)布了其先進(jìn)的推理模型o3，該模型超越了所有其他AI模型，并在評估中達(dá)到了人類水平的表現(xiàn)。然而，當(dāng)時便指出，o3在ARC-AGI-1上的卓越表現(xiàn)是以高昂的成本為代價(jià)的。在ARC-AGI-2測試中，即便使用價(jià)值200美元的計(jì)算資源，OpenAI的o3模型（低配版）的得分也僅為4%。

ARC-AGI-2的推出恰逢其時，科技行業(yè)正迫切呼吁建立新的、尚未飽和的基準(zhǔn)來評估AI的進(jìn)展。Hugging Face聯(lián)合創(chuàng)始人托馬斯·沃爾夫在最近接受采訪時指出，AI行業(yè)缺乏足夠的測試來衡量通用人工智能的關(guān)鍵特質(zhì)，如創(chuàng)造力。

Arc Prize基金會還宣布了2025年Arc Prize競賽，向開發(fā)者發(fā)起挑戰(zhàn)，要求在ARC-AGI-2測試中達(dá)到85%的準(zhǔn)確率，同時每項(xiàng)任務(wù)的成本不超過0.42美元（約合3元人民幣）。