LLM 集体翻车？测试评估各种前沿模型成功率低于 2 %

在当今时代，大型语言模型（LLM）在数学领域的表现备受关注。

然而，最新推出的数学基准FrontierMath却让LLM集体“翻车”，成功率竟然不到 2%。FrontierMath由Epoch AI联合60多位顶尖数学家共同打造，包含数百个极具挑战性的原创数学问题，涵盖了现代数学的众多主要分支。其设计原则独特，旨在防止数据污染，保证解决方案的自动可验证性，并具备“防猜测”特性。

为验证FrontierMath的难度，Epoch AI还采访了多位菲尔兹奖得主，他们一致认为这些题目极富挑战性。而在评估中，包括o1、Claude 3.5 Sonnet、GPT-4o、Grok和Gemini 1.5 Pro等前沿模型，即便拥有诸多优势条件，成功率仍低于 2%。

这与传统基准测试形成鲜明对比，在GSM-8K和MATH等测试中，成功率超过 90%。而LLM在FrontierMath中表现不佳，原因在于现有数学benchmark存在数据污染，LLM靠记忆“考古题”刷分。

数学为评估复杂推理提供了理想环境，而FrontierMath的推出不仅展示了各模型在数学推理方面的具体表现，更揭示了当前AI系统在数学能力上的系统性局限。通过严格的数学评估，有助于推动AI技术改进，为探讨机器智能的本质特征提供重要视角。