AI会答对问题却做错目标:交付团队把“真实意图”加入验收
在AI评测中,一个容易被常规答案评分掩盖的缺口,是模型没有完全答错,却仍在解决用户提出的错误方法。XYBench把这种情况称为“XY问题”:用户想实现目标X,却预设方法Y,并围绕Y求助。典型的例子是,用户询问怎样让糖霜不滑落,但杯子蛋糕其实还没有冷却;直接教用户增稠糖霜虽然字面相关,却没有解决真正原因。对已有AI交付的小团队而言,这一变化更值得落实为一次现有流程验收,而不是另建一个通用评测平台。
AllenAI团队与卡内基梅隆大学、NVIDIA和约翰斯·霍普金斯大学的研究者构建了XYBench,共包含8115个问题,用于测试模型是否会识别这类隐含误解,并把回答重心转向用户的真实目标。测试覆盖Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro。
结果揭示了一个对AI交付很重要的差别:在Stack Overflow子集上,模型回答中只有35%至41%主要聚焦真实目标X,47%至57%主要聚焦用户明示的方法Y,其余回答对两者给予相近权重。但当任务改为从两个答案中选择时,六个受测模型有71%至84%的比例选中了更贴近真实目标的答案。也就是说,模型往往能够识别较好的答案,却不一定会把它写进自己的回复。
这组差别不能直接理解为“模型不会诊断”。XYBench区分了三个维度:回答是否包含解决明示请求Y的方案、是否包含解决真实目标X的方案,以及回答把重心放在哪一边。另一个实验还发现,即使额外告诉模型真实目标,Claude Sonnet 4.6包含真实目标方案的比率从59%升至67%,错误前提识别率却从47%降至34%。这说明识别意图只是执行的一部分,单纯补一句目标,并不能稳定替代模型执行时的判断。
评测本身也有需要正视的边界。8115个问题中,1557个来自Stack Overflow,184个来自Stack Exchange,102个为人工整理样本,6272个依据WikiHow指南生成;后一大部分不是自然发生的完整对话。自动裁判是Claude Sonnet 4.5。两名人工复核者对500份模型回答进行了独立检查,其中“解决方案是否出现”的一致率为97.5%至100%,“错误前提识别”为84.6%至93.3%,但“回答重心”只有74.2%至79.8%。更关键的是,当前评测只覆盖英文查询,不能把上述比例直接当作中文模型或国内业务的效果。
对国内已有客户的小团队,最现实的价值不是出售一项新的“错误前提识别服务”,而是修改现有AI交付的验收口径。咨询顾问可以先确认客户真正想改变的结果,而不只是记录其要求采用的方法;培训与内容团队可以检查建议是否围绕业务目标展开;AI产品团队则可以把目标识别、替代方案和回答重心加入人工抽检。
小范围验证不需要先搭评测平台。团队可从自己最近20至50个已交付任务中挑选10至20个问题,分别记录客户原话、推断目标、模型最终建议、是否需要人工改写以及返工原因。改写后的流程可以增加三个检查:回答是否解释了原方法为什么可能无效,是否给出更接近真实目标的替代方案,以及正文重心是否仍停留在客户最初提出的方法上。复测时由业务负责人判断客户目标,不能只让同一个模型给自己打分。
如果团队要改进提示词,可以把“先复述目标并检查用户采用的方法是否存在错误前提”设为独立步骤,并要求分别给出对原方法的判断和对真实目标的建议。目标不明确时,AI应先提出一个澄清问题,而不是用更多篇幅扩展用户原来的方案。涉及价格、承诺、法律责任或技术架构时,错误前提还应由有相应经验的人复核,不能让模型自动替代专业判断。
试点至少记录四项结果:需要人工纠正的错误前提数、因答非所问产生的返工工时、客户接受后仍要求修改的比例,以及同一批任务在加入验收步骤后的变化。还要保留原流程作为对照,因为模型、提示词和业务人员熟悉程度的变化都可能影响结果。如果目标确认没有减少返工,就不应把它包装成新的交付卖点。
现有材料能够证明的是一种可测的模型能力缺口,以及可以借鉴的三项评测维度。它尚不能证明国内团队加入这套清单后一定减少返工,也没有证明客户会单独购买一份通用评测或咨询服务。最适合的参与者,是已经有咨询、培训、内容或AI产品交付对象,并能取得真实业务样本的小团队;没有现成客户、任务日志和业务判断能力的人,则缺少验证这项方法的基础。