大模型评测
-
谷歌Gemini 4 Carbon登顶MathArena数学榜:预期得分85.4%力压GPT-6.1 Sol,但每题成本约为后者15倍
谷歌新旗舰在独立数学评测MathArena上把OpenAI挤下了榜首,但代价同样醒目:同等任务下,它的花费约是GPT-6.1 Sol的15倍。
-
你问的未必是你真正想解决的:Ai2发布XYBench,8115道题测出大模型不善纠正用户的“错误提问”
用户问“怎么让奶油不从纸杯蛋糕上滑下来”,真正的问题却是蛋糕还没凉。Ai2新发布的XYBench专门测这类“问错了问题”的场景,结果发现主流大模型往往顺着错误思路回答,而不是帮用户找到真正的症结。