研究機構 Epoch AI 近日發布了一款全新的 AI 模型數學基準測試集，名為 FrontierMath。該測試集旨在全面評估 AI 模型的數學推理能力，尤其是面對復雜數學問題時的表現。
與現有的數學測試題集如 GSM-8K 和 MATH 相比，FrontierMath 的特色在于其收錄的數學問題極為復雜，涵蓋了數論、代數和幾何等多個現代數學領域。這些問題的難度極高，甚至對于人類專家而言，解答也往往需要耗費數小時乃至數天的時間。
據悉，FrontierMath 的題目由資深的人工智能學專家精心設計。這些問題不僅要求 AI 具備對數學概念的深刻理解，更需要在復雜情境下進行高效推理。這樣的設計要求旨在防止 AI 模型通過比對過往學習過的相似題目來尋求答案。
研究機構使用 FrontierMath 對當前市場上的主流 AI 模型進行了初步測試。結果顯示，這些模型在 FrontierMath 上的表現普遍不佳。即便是此前在 GSM-8K 和 MATH 測試中取得近乎滿分成績的 Claude 3.5 和 GPT-4 等先進模型，在 FrontierMath 中的解題成功率也低于 2%。
研究團隊進一步指出，AI 在解決高級數學問題時的主要挑戰在于它們往往過于依賴訓練數據中的相似題目來生成答案。這種方式忽略了對問題本身邏輯結構的深入理解和推理。因此，當面對未曾學習過的新題目時，這些模型容易陷入困境。這一問題并非僅僅通過增加模型規模就能解決，而是需要從模型的推理架構層面進行根本性的改進。
