每个 AI 数学工具都在宣传一个基准分数——"MATH 拿 92%"、"算术排行榜第一"。对大多数学生来说，这些数字只是噪声。它们在没有任何背景的情况下被报出来，测试的风格非常特定，而且很少能告诉你这个工具到底能不能帮上你的作业。本指南解码你最常会看到的四个基准，说明每一个会在哪里失灵，并给你一个 15 分钟的测试，让你在信任任何 AI 数学工具之前自己跑一遍。
厂商钟爱的四个基准
GSM8K —— 小学应用题
GSM8K 是一套 8500 道小学难度、需要多步算术的应用题。GSM8K 上 90% 以上的分数意味着该模型在用英文表述的多步算术上是可靠的。大多数现代 AI 在这里都能越过 90%；低于 80% 是一个严重的危险信号。
它告诉你什么：这个 AI 能读懂一个故事并完成其中的算术。
它隐藏了什么：它不测试代数、微积分或任何视觉相关的东西。
MATH —— 竞赛风格题目
MATH 基准包含 12500 道选自美国高中数学竞赛（AMC、AIME）的题目。这里 50% 以上的分数是真正令人印象深刻的——这些题目需要的是巧解，而不是机械求解。
它告诉你什么：这个 AI 能在高中竞赛水平上进行非平凡的推理。
它隐藏了什么：如果同一个模型在一道本该用蛮力的题上指望"巧妙"招数，教科书式的常规作业仍然可能把它绊倒。
MMLU（数学子集）
MMLU 包含数百道横跨中学和大学学科（含数学）的选择题。对衡量广度有用，对深度则不然——选择题奖励的是排除错误选项，而作业并不是这么做的。
它告诉你什么：这个 AI 知道事实和标准方法。
它隐藏了什么：关于模型如何处理一道单独的、难的、自由作答的题目，它什么都没说。
MiniF2F / 证明类基准
仅面向高级用户——衡量 AI 能否产出可被定理证明器检验的形式化证明。大多数学生不需要这个，但如果你在学实分析或抽象代数，它是一个有意义的信号。
基准分数为什么会误导你
- 测试污染：如果该基准在训练期间就公开在互联网上，AI 可能已经把它背下来了。较新的基准（2024 年之后）部分就是为了避免这一点而设计的。
- 一次作答 vs N 选优：有些分数是让模型试十次、只数最好的那次得出的。对第一次作答而言，这个数字会急剧下降，而你实际体验到的正是第一次。
- 风格不匹配：一个在竞赛风格 MATH 上碾压的 AI，处理你的常规教科书时可能表现不同。反过来，一个为教科书风格调过的 AI，可能在创造性题目上栽跟头。
- 没有部分分：基准通常只评最终答案。一份有一步错误却（侥幸）答案正确的解答，和一份干净的推导得到相同分数。真正的老师不是这么打分的。
- 主题缺口：一个模型可以整体拿 90%，如果测试主要是代数，它在几何上仍可能只有 30%。
一个更好的心智模型
把基准分数当作下限，而不是上限：
- GSM8K 低于 70% → 算术不可靠。跳过。
- MATH 低于 40% → 应付常规作业还行，难题上偏弱。
- MATH 50–70% → 非常有能力；覆盖大多数中学和本科需求。
- MATH 高于 70% → 业界顶尖，包括大多数大学水平的题目。
MathCore 推理引擎在内部是用一套与课程对齐的题库来做基准测试的——覆盖 K-12 教科书、AP 微积分，以及本科的微积分与线性代数——而不是只用竞赛题，因为那才是学生真正会面对的。
一个你可以自己跑的 15 分钟测试
忘掉那些基准。花 15 分钟，给任何候选 AI 四道你已经知道答案的题目：
- 一道常规算术应用题，取自四年级练习册。测试基本阅读 + 算术。
- 一道教科书二次方程或方程组，取自你自己的作业。测试代数可靠性。
- 一道方法不显然的定积分，比如 。测试微积分 + 方法选择。
- 一道你觉得棘手的多步应用题。 测试在现实中的有用程度。
从三个维度给它打分：
| 维度 | 检查什么 |
|---|---|
| 最终答案 | 对还是错？ |
| 步骤 | 每一步合法吗？还是 AI 在含糊带过？ |
| 讲解 | 一个犯迷糊的同学能跟得上吗？ |
一个在你的测试上拿到 4/4 满分的工具，比一个在你看不懂的基准上拿 92% 的工具更值得信任。
应当存疑的常见说法
- "最好的数学 AI"，却不点出是哪个基准。
- "100% 准确"——没有任何模型能做到。验证器循环能极大提升可靠性，但永远到不了 100%。
- "击败 GPT-X"——不说是哪个版本、在哪个基准、用哪种模式，就毫无意义。
- "解决任何题目"——即便最好的模型也有薄弱主题；诚实的工具会在它不确定时告诉你。
用你自己的基准试试 AI-Math
挑上面那四道题（或你上一次的测验），放进 AI-Math 求解器跑一遍。如果你做了一个对比 AI 工具的课堂项目并发布出来，我们很乐意一睹为快——通过联系页面给我们留言。
接着读
- AI 是怎么真正解出数学题的 —— 那些基准背后的流水线
- 走进 AI-Math：MathCore 推理引擎 —— 我们构建的具体技术栈
- AI 家教 vs 真人家教：诚实对比 —— 何时该用哪一个