发生了什么
艾伦人工智能研究所(Ai2)近日在Hugging Face发布了评测基准XYBench,用来检验AI助手面对“建立在误解之上的提问”时,能否识别出用户真正的目标并给出更有效的解决方案。该工作与卡内基梅隆大学、英伟达和约翰斯·霍普金斯大学的研究人员合作完成,并获得EMNLP 2026最佳资源论文奖。
基准名字来自程序员圈子里著名的“XY问题”:一个人想完成X,自以为方法Y行得通,于是只问Y怎么做。Ai2举的例子是:有人问怎样让糖霜变稠、别从纸杯蛋糕上滑落,真正的原因却是蛋糕还太热、不适合抹糖霜。
关键细节和数据
- 题目规模:共8115道真实场景问题,覆盖编程以及烹饪、家居维修等日常活动。其中1557道来自Stack Overflow,184道来自Stack Exchange,102道人工整理,6272道根据WikiHow教程生成;
- 标注方式:每道题都区分“字面请求”(Y)和可从上下文推断的“真实意图”(X);论坛题目参考高分回答和被采纳答案确定意图,并剔除“直接回答字面问题就够了”的样本;
- 三项指标:回答是否同时给出了针对Y和X的方案;回答重点落在Y、X还是两者兼顾;是否引导用户放弃错误思路、转向真实目标;
- 评测方式:由Claude Sonnet 4.5担任自动评审,两名人工评审独立复核了500条回答,在“是否包含解决方案”上与自动评审的一致率为97.5%–100%,在误解识别上为84.6%–93.3%,在回答重点上为74.2%–79.8%;
- 被测模型:Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro,单轮对话、每题一次回答。
主要发现
在全部四类来源上,每个模型都更倾向于回答字面请求。以Stack Overflow题目为例,75%–86%的回答包含针对字面请求的方案,包含针对真实目标方案的只有59%–71%;而真正把重点放在真实目标上的回答仅占35%–41%,把重点放在字面请求上的则有47%–57%。与人类参考答案相比,五款模型都更少把用户从错误路线上拉回来。
研究团队还做了两个对照实验。其一是直接把真实意图告诉模型:Sonnet 4.6给出真实目标方案的比例从59%升到67%,但识别并点明误解的比例反而从47%降到34%,所有模型在误解识别上仍落后于人类。其二是让模型“当裁判”:给出一个只回答字面问题的答案和一个指出误解、解决真实目标的答案,六款模型(另加GPT-4.1)在71%–84%的情况下都能选出后者。会挑好答案,却写不出好答案——这是多选题式评测难以暴露的差距。
为什么重要
现实中,很多人向AI求助时并不知道该怎么问。一个只会“有问必答”的助手,可能把用户在错误方向上越带越远;真正有用的助手,应当像有经验的同事一样先问一句“你到底想解决什么”。XYBench把这种能力拆成可测量的指标,让“理解用户意图”不再停留在口号上。
结果也提示,单纯加强意图识别并不够,模型还需要在意图与字面请求不一致时敢于“纠偏”。
影响和展望
Ai2表示,研究者可以用XYBench检验提示词或训练方法的改动,是否同时提升了误解识别、目标解决和回答重点三方面能力。目前基准只覆盖英文、以流程性问题为主,扩展到更多语言、文化和多轮对话场景,是下一步的方向。对于正在把AI助手推向普通用户的厂商而言,“回答用户真正需要的,而不只是字面上问的”,可能会成为下一轮体验竞争的关键。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4642.html