每個 AI 數學工具都在宣傳一個基準分數——「MATH 拿 92%」、「算術排行榜第一」。對大多數學生來說，這些數字只是雜訊。它們在沒有任何背景的情況下被報出來，測試的風格非常特定，而且很少能告訴你這個工具到底能不能幫上你的作業。本指南解碼你最常會看到的四個基準，說明每一個會在哪裡失靈，並給你一個 15 分鐘的測試，讓你在信任任何 AI 數學工具之前自己跑一遍。
廠商鍾愛的四個基準
GSM8K —— 小學應用題
GSM8K 是一套 8500 道小學難度、需要多步算術的應用題。GSM8K 上 90% 以上的分數意味著該模型在用英文表述的多步算術上是可靠的。大多數現代 AI 在這裡都能越過 90%；低於 80% 是一個嚴重的危險訊號。
它告訴你什麼：這個 AI 能讀懂一個故事並完成其中的算術。
它隱藏了什麼：它不測試代數、微積分或任何視覺相關的東西。
MATH —— 競賽風格題目
MATH 基準包含 12500 道選自美國高中數學競賽（AMC、AIME）的題目。這裡 50% 以上的分數是真正令人印象深刻的——這些題目需要的是巧解，而不是機械求解。
它告訴你什麼：這個 AI 能在高中競賽水準上進行非平凡的推理。
它隱藏了什麼：如果同一個模型在一道本該用蠻力的題上指望「巧妙」招數，教科書式的常規作業仍然可能把它絆倒。
MMLU（數學子集）
MMLU 包含數百道橫跨中學和大學學科（含數學）的選擇題。對衡量廣度有用，對深度則不然——選擇題獎勵的是排除錯誤選項，而作業並不是這麼做的。
它告訴你什麼：這個 AI 知道事實和標準方法。
它隱藏了什麼：關於模型如何處理一道單獨的、難的、自由作答的題目，它什麼都沒說。
MiniF2F / 證明類基準
僅面向進階使用者——衡量 AI 能否產出可被定理證明器檢驗的形式化證明。大多數學生不需要這個，但如果你在學實分析或抽象代數，它是一個有意義的訊號。
基準分數為什麼會誤導你
- 測試污染：如果該基準在訓練期間就公開在網際網路上，AI 可能已經把它背下來了。較新的基準（2024 年之後）部分就是為了避免這一點而設計的。
- 一次作答 vs N 選優：有些分數是讓模型試十次、只數最好的那次得出的。對第一次作答而言，這個數字會急劇下降，而你實際體驗到的正是第一次。
- 風格不匹配：一個在競賽風格 MATH 上輾壓的 AI，處理你的常規教科書時可能表現不同。反過來，一個為教科書風格調過的 AI，可能在創造性題目上栽跟頭。
- 沒有部分分：基準通常只評最終答案。一份有一步錯誤卻（僥倖）答案正確的解答，和一份乾淨的推導得到相同分數。真正的老師不是這麼打分的。
- 主題缺口：一個模型可以整體拿 90%，如果測試主要是代數，它在幾何上仍可能只有 30%。
一個更好的心智模型
把基準分數當作下限，而不是上限：
- GSM8K 低於 70% → 算術不可靠。跳過。
- MATH 低於 40% → 應付常規作業還行，難題上偏弱。
- MATH 50–70% → 非常有能力；覆蓋大多數中學和本科需求。
- MATH 高於 70% → 業界頂尖，包括大多數大學水準的題目。
MathCore 推理引擎在內部是用一套與課程對齊的題庫來做基準測試的——覆蓋 K-12 教科書、AP 微積分，以及本科的微積分與線性代數——而不是只用競賽題，因為那才是學生真正會面對的。
一個你可以自己跑的 15 分鐘測試
忘掉那些基準。花 15 分鐘，給任何候選 AI 四道你已經知道答案的題目：
- 一道常規算術應用題，取自四年級練習簿。測試基本閱讀 + 算術。
- 一道教科書二次方程式或方程組，取自你自己的作業。測試代數可靠性。
- 一道方法不顯然的定積分，比如 。測試微積分 + 方法選擇。
- 一道你覺得棘手的多步應用題。 測試在現實中的有用程度。
從三個維度給它打分：
| 維度 | 檢查什麼 |
|---|---|
| 最終答案 | 對還是錯？ |
| 步驟 | 每一步合法嗎？還是 AI 在含糊帶過？ |
| 講解 | 一個犯迷糊的同學能跟得上嗎？ |
一個在你的測試上拿到 4/4 滿分的工具，比一個在你看不懂的基準上拿 92% 的工具更值得信任。
應當存疑的常見說法
- 「最好的數學 AI」，卻不點出是哪個基準。
- 「100% 準確」——沒有任何模型能做到。驗證器迴圈能極大提升可靠性，但永遠到不了 100%。
- 「擊敗 GPT-X」——不說是哪個版本、在哪個基準、用哪種模式，就毫無意義。
- 「解決任何題目」——即便最好的模型也有薄弱主題；誠實的工具會在它不確定時告訴你。
用你自己的基準試試 AI-Math
挑上面那四道題（或你上一次的測驗），放進 AI-Math 求解器跑一遍。如果你做了一個對比 AI 工具的課堂專案並發布出來，我們很樂意一睹為快——透過聯絡頁面給我們留言。
接著讀
- AI 是怎麼真正解出數學題的 —— 那些基準背後的流水線
- 走進 AI-Math：MathCore 推理引擎 —— 我們構建的具體技術堆疊
- AI 家教 vs 真人家教：誠實對比 —— 何時該用哪一個