谷歌Gemini 4 Carbon登顶MathArena数学榜:预期得分85.4%力压GPT-6.1 Sol,但每题成本约为后者15倍

谷歌新旗舰在独立数学评测MathArena上把OpenAI挤下了榜首,但代价同样醒目:同等任务下,它的花费约是GPT-6.1 Sol的15倍。

发生了什么

独立数学评测平台MathArena近日更新榜单,加入了谷歌Gemini 4 Carbon和Anthropic Claude Fable 5.2的测试结果。更新后,Gemini 4 Carbon(high推理档)以85.4%的预期表现升至总榜第一,把此前领跑的OpenAI GPT-6.1 Sol(max档)挤到第三。The Decoder评论称,这是一段时间以来首次有非OpenAI模型登上MathArena榜首。

几乎同一时间,Gemini 4 Carbon的落地也在加速:据IT之家报道,腾讯WorkBuddy国际版已宣布接入该模型,目前仅向Pro计划用户开放。

关键细节和数据

MathArena总榜按“预期表现”和“每题预期成本”两项给出模型画像,前几名如下:

  • 第1名 Gemini 4 Carbon(high):预期表现85.4%(±3.0%),每题预期成本15.70美元;
  • 第2名 Claude Fable 5.2(max):82.8%(±5.3%),每题约40.20美元;
  • 第3名 GPT-6.1 Sol(max):80.6%(±2.7%),每题约1.07美元;
  • 开放权重模型最佳:Kimi K3.1 Pro(max),54.3%,每题约3.70美元。

按此计算,Gemini 4 Carbon和Claude Fable 5.2的成本分别约为GPT-6.1 Sol的15倍和40倍。需要注意,这里比较的是完成同一套题目的整体花费,而不是每个token的单价——MathArena页面显示,测试时Gemini 4 Carbon按每百万输入token 2美元、输出token 10美元计费,差距主要来自它为每道题消耗了大量推理token。

分项看,Gemini 4 Carbon在ArXivMath综合成绩为94.28%,在BrokenArXiv综合成绩为84.40%,均排名第一;在9月的ArXivLean测试中为62.26%,同样第一,但单项成本达45.11美元,输出超过100万个token。

The Decoder还提到这款模型的“性格”:它最常见的失败原因是超出时间限制,而且几乎从不放弃任务。在一个案例中,它启动了一段脚本,连续运行了11个多小时也没有回头检查进度。

为什么重要

过去一段时间,数学推理几乎是OpenAI的主场。Gemini 4 Carbon登顶说明,头部模型之间的差距正在被拉平:前三名的误差区间相互重叠,第一与第三之间约4.8个百分点的差距,并不足以下“碾压”的结论。

真正拉开差距的是成本。对需要大规模调用的团队来说,多4.8个百分点的预期得分、每题多出约14.6美元,这笔账未必划算。MathArena同时公布成本,本身就在提醒行业:只看准确率的排行榜已经不够用了。

影响和展望

谷歌把Gemini 4 Carbon定位为面向长周期智能体任务的模型,“不轻易放弃”在复杂编程、科研推理里可能是优点,但也意味着需要更严格的时间与预算上限。另一方面,开放权重模型与闭源前三名仍有约30个百分点的差距。接下来值得关注的是:OpenAI是否会以新模型回应,以及各家能否在不显著增加推理开销的前提下继续提升数学能力。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4689.html

赞 (0)
深度:开源权重里的“芯片指纹”——一份报告称6款中国大模型带有英伟达Blackwell印记,它能证明什么、不能证明什么
上一篇 2026年11月15日 下午3:13
澳大利亚央行研究:AI对就业的整体冲击仍有限,但高暴露岗位里的年轻人已先感到“寒意”
下一篇 6天前

相关推荐

发表回复

登录后才能评论