发生了什么
独立数学评测平台MathArena近日更新榜单,加入了谷歌Gemini 4 Carbon和Anthropic Claude Fable 5.2的测试结果。更新后,Gemini 4 Carbon(high推理档)以85.4%的预期表现升至总榜第一,把此前领跑的OpenAI GPT-6.1 Sol(max档)挤到第三。The Decoder评论称,这是一段时间以来首次有非OpenAI模型登上MathArena榜首。
几乎同一时间,Gemini 4 Carbon的落地也在加速:据IT之家报道,腾讯WorkBuddy国际版已宣布接入该模型,目前仅向Pro计划用户开放。
关键细节和数据
MathArena总榜按“预期表现”和“每题预期成本”两项给出模型画像,前几名如下:
- 第1名 Gemini 4 Carbon(high):预期表现85.4%(±3.0%),每题预期成本15.70美元;
- 第2名 Claude Fable 5.2(max):82.8%(±5.3%),每题约40.20美元;
- 第3名 GPT-6.1 Sol(max):80.6%(±2.7%),每题约1.07美元;
- 开放权重模型最佳:Kimi K3.1 Pro(max),54.3%,每题约3.70美元。
按此计算,Gemini 4 Carbon和Claude Fable 5.2的成本分别约为GPT-6.1 Sol的15倍和40倍。需要注意,这里比较的是完成同一套题目的整体花费,而不是每个token的单价——MathArena页面显示,测试时Gemini 4 Carbon按每百万输入token 2美元、输出token 10美元计费,差距主要来自它为每道题消耗了大量推理token。
分项看,Gemini 4 Carbon在ArXivMath综合成绩为94.28%,在BrokenArXiv综合成绩为84.40%,均排名第一;在9月的ArXivLean测试中为62.26%,同样第一,但单项成本达45.11美元,输出超过100万个token。
The Decoder还提到这款模型的“性格”:它最常见的失败原因是超出时间限制,而且几乎从不放弃任务。在一个案例中,它启动了一段脚本,连续运行了11个多小时也没有回头检查进度。
为什么重要
过去一段时间,数学推理几乎是OpenAI的主场。Gemini 4 Carbon登顶说明,头部模型之间的差距正在被拉平:前三名的误差区间相互重叠,第一与第三之间约4.8个百分点的差距,并不足以下“碾压”的结论。
真正拉开差距的是成本。对需要大规模调用的团队来说,多4.8个百分点的预期得分、每题多出约14.6美元,这笔账未必划算。MathArena同时公布成本,本身就在提醒行业:只看准确率的排行榜已经不够用了。
影响和展望
谷歌把Gemini 4 Carbon定位为面向长周期智能体任务的模型,“不轻易放弃”在复杂编程、科研推理里可能是优点,但也意味着需要更严格的时间与预算上限。另一方面,开放权重模型与闭源前三名仍有约30个百分点的差距。接下来值得关注的是:OpenAI是否会以新模型回应,以及各家能否在不显著增加推理开销的前提下继续提升数学能力。
参考来源
- The Decoder:Gemini 4 Carbon takes the MathArena crown but costs 15 times more than GPT-6.1 Sol
- MathArena:模型总榜
- MathArena:Gemini 4 Carbon (high) 模型页
- IT之家:腾讯WorkBuddy国际版上线Gemini 4 Carbon
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4689.html