你问的未必是你真正想解决的:Ai2发布XYBench,8115道题测出大模型不善纠正用户的“错误提问”

用户问“怎么让奶油不从纸杯蛋糕上滑下来”,真正的问题却是蛋糕还没凉。Ai2新发布的XYBench专门测这类“问错了问题”的场景,结果发现主流大模型往往顺着错误思路回答,而不是帮用户找到真正的症结。

发生了什么

艾伦人工智能研究所(Ai2)近日在Hugging Face发布了评测基准XYBench,用来检验AI助手面对“建立在误解之上的提问”时,能否识别出用户真正的目标并给出更有效的解决方案。该工作与卡内基梅隆大学、英伟达和约翰斯·霍普金斯大学的研究人员合作完成,并获得EMNLP 2026最佳资源论文奖。

基准名字来自程序员圈子里著名的“XY问题”:一个人想完成X,自以为方法Y行得通,于是只问Y怎么做。Ai2举的例子是:有人问怎样让糖霜变稠、别从纸杯蛋糕上滑落,真正的原因却是蛋糕还太热、不适合抹糖霜。

关键细节和数据

  • 题目规模:共8115道真实场景问题,覆盖编程以及烹饪、家居维修等日常活动。其中1557道来自Stack Overflow,184道来自Stack Exchange,102道人工整理,6272道根据WikiHow教程生成;
  • 标注方式:每道题都区分“字面请求”(Y)和可从上下文推断的“真实意图”(X);论坛题目参考高分回答和被采纳答案确定意图,并剔除“直接回答字面问题就够了”的样本;
  • 三项指标:回答是否同时给出了针对Y和X的方案;回答重点落在Y、X还是两者兼顾;是否引导用户放弃错误思路、转向真实目标;
  • 评测方式:由Claude Sonnet 4.5担任自动评审,两名人工评审独立复核了500条回答,在“是否包含解决方案”上与自动评审的一致率为97.5%–100%,在误解识别上为84.6%–93.3%,在回答重点上为74.2%–79.8%;
  • 被测模型:Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro,单轮对话、每题一次回答。

主要发现

在全部四类来源上,每个模型都更倾向于回答字面请求。以Stack Overflow题目为例,75%–86%的回答包含针对字面请求的方案,包含针对真实目标方案的只有59%–71%;而真正把重点放在真实目标上的回答仅占35%–41%,把重点放在字面请求上的则有47%–57%。与人类参考答案相比,五款模型都更少把用户从错误路线上拉回来。

研究团队还做了两个对照实验。其一是直接把真实意图告诉模型:Sonnet 4.6给出真实目标方案的比例从59%升到67%,但识别并点明误解的比例反而从47%降到34%,所有模型在误解识别上仍落后于人类。其二是让模型“当裁判”:给出一个只回答字面问题的答案和一个指出误解、解决真实目标的答案,六款模型(另加GPT-4.1)在71%–84%的情况下都能选出后者。会挑好答案,却写不出好答案——这是多选题式评测难以暴露的差距。

为什么重要

现实中,很多人向AI求助时并不知道该怎么问。一个只会“有问必答”的助手,可能把用户在错误方向上越带越远;真正有用的助手,应当像有经验的同事一样先问一句“你到底想解决什么”。XYBench把这种能力拆成可测量的指标,让“理解用户意图”不再停留在口号上。

结果也提示,单纯加强意图识别并不够,模型还需要在意图与字面请求不一致时敢于“纠偏”。

影响和展望

Ai2表示,研究者可以用XYBench检验提示词或训练方法的改动,是否同时提升了误解识别、目标解决和回答重点三方面能力。目前基准只覆盖英文、以流程性问题为主,扩展到更多语言、文化和多轮对话场景,是下一步的方向。对于正在把AI助手推向普通用户的厂商而言,“回答用户真正需要的,而不只是字面上问的”,可能会成为下一轮体验竞争的关键。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4642.html

赞 (0)
亚马逊被曝秘密筹划“世界商品图谱”:想收录地球上几乎所有在售商品,既为修好Rufus也为截住AI购物智能体
上一篇 2026年11月14日 下午3:07
两台机器人隔着墙也能默契配合:星尘智能发布多机协同框架CoMind,只传32个Token,盲区放置准确率从38.9%升至88.9%
下一篇 2026年11月14日 下午3:08

相关推荐

发表回复

登录后才能评论