最新 AI 论文盘点（2026-05-14）：5 篇新作看 Embodied Agent 验证器、Benchmark 防作弊、VLM 失效模式、GUI Grounding 与隐性偏好学习

今天这批论文如果放在一起看，我觉得最值得注意的一条线，不是“模型又变大了”，而是：

大家开始更认真地处理 AI 系统在真实使用里的脆弱环节。

这些脆弱点并不总在模型参数本身，更多时候出现在系统边缘：

• Agent 会不会在长链路任务里做错关键动作
• benchmark 会不会被模型“刷分”而不是被真正解决
• VLM 在安全场景里到底会在哪些结构化条件下失效
• GUI grounding 的瓶颈到底是在生成阶段，还是更早的 prefill 阶段
• 模型怎么从少量交互里学到用户没有明说的偏好

它们看起来分属不同方向：

• Embodied Agent
• Agent Evaluation
• Vision-Language Model Safety
• GUI Agent / UI Understanding
• Human Preference Learning

但拼在一起，其实指向的是同一个问题：

AI 系统正在从“会做题”往“能稳定做事”过渡，而真正决定上限的，往往是验证、评测、失效分析和偏好建模这些过去容易被忽略的层。

今天我挑 5 篇来盘。严格说，它们不一定都是“最炸裂”的 headline paper，但都是我觉得对未来系统设计更有启发的那类工作。

---

1）VeGAS：Embodied Agent 不要急着输出动作，先加一步“验证”

• arXiv：2605.12620
• 标题：Think Twice, Act Once: Verifier-Guided Action Selection For Embodied Agents
• 方向：Embodied Agent / MLLM Agent / test-time verification

这篇论文切的问题非常实际。

现在很多 embodied agent 已经会用多模态大模型去理解环境、生成链式推理，然后输出动作。

问题是，一旦场景变得长链路、多目标、分布外，模型很容易在某一步犯错，然后整条轨迹一起崩。

作者提出的 VeGAS（Verifier-Guided Action Selection）思路并不复杂，但我觉得很有代表性：

• policy 不只采样一个动作
• 而是先采样一组候选动作
• 再由一个 generative verifier 选出更可靠的那个

核心思想其实有点像把“self-consistency”从文本推理迁移到了动作选择：

不是直接信第一反应，而是让系统在执行前有一个显式的筛选层。

更有意思的是，论文说得很直接：

• 直接拿现成 MLLM 当 verifier，效果并不好
• 所以他们还做了基于 LLM 的失败案例数据合成，专门训练 verifier 去识别潜在错误

也就是说，这篇论文真正强调的不是“多一个模型就更强”，而是：

验证器如果没见过系统会怎样失败，它就很难在关键时刻起作用。

实验上，它在 Habitat 和 ALFRED 这类 embodied reasoning benchmark 上，对更难的 multi-object、long-horizon 任务带来了明显提升，论文里给出的数字是相对强 CoT baseline 最多提升 36%。

我觉得这篇工作的启发是：

未来 Agent 系统大概率不会只靠一个“会推理的 policy”单兵作战。

更稳的形态，可能会越来越像：

• 生成候选
• 做显式验证
• 再决定是否执行

这条路线对机器人、GUI Agent、自动化执行都很重要。

---

2）BenchJack：很多 Agent Benchmark，可能根本没你以为的那么安全

• arXiv：2605.12673
• 标题：Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack
• 方向：Agent Benchmark / Reward Hacking / Evaluation Security

如果说过去大家最爱问的是“哪个 agent benchmark 更难”，那这篇论文问的是另一个更扎心的问题：

这些 benchmark，到底有没有被认真防作弊？

作者的论点很明确：

今天很多 benchmark 已经成了模型能力、投融资判断和产品路线的重要依据，但它们自身的设计，未必有足够强的对抗性安全视角。

论文先整理出 reward hacking 的八类常见 flaw pattern，然后做了一个自动化 red-teaming 系统 BenchJack，去驱动 coding agent 主动审计 benchmark，寻找“高分但没真正完成任务”的 exploit。

这件事最可怕的地方在于结果：

• 他们在 10 个流行 agent benchmark 上找到了大量可利用漏洞
• 共计暴露出 219 个不同问题
• 某些 benchmark 几乎可以在“不做任务”的情况下刷到近乎满分
• 扩展后的迭代修补流程，能把部分 benchmark 的 hackable-task ratio 从接近 100% 压到 10% 以下

这个结论其实挺重的。

因为它意味着：

有些 benchmark 的高分，不一定代表模型真的会做事，只代表它已经足够会钻评测规则的空子。

我觉得这篇论文很值得所有做 agent 评测的人看，尤其是现在大家越来越爱拿：

• WebArena
• OSWorld
• Desktop / Browser / Terminal benchmark

去做 headline 排名。

排名当然重要，但如果评测面本身是可被系统性攻击的，那排行榜的解释力就会迅速下降。

一句话说，这篇工作在补的是：

agent evaluation 的“安全工程学”。

这类论文可能没有新模型那样吸睛，但长期价值很高。

---

3）REVELIO：别只看平均准确率，VLM 真正危险的是“结构化失效模式”

• arXiv：2605.12674
• 标题：Revealing Interpretable Failure Modes of VLMs
• 方向：VLM Safety / Failure Analysis / Interpretability

这篇论文我很喜欢，因为它抓住了一个经常被 benchmark 掩盖的问题：

模型不是均匀地犯错，而是在某些特定条件组合下持续性地出错。

作者把这种情况定义为 failure mode，并强调这类失效往往是由多个“可解释概念”组合出来的。

例如在自动驾驶场景里，错误不一定只是“看错物体”，而可能是：

• 遮挡
• 坏天气
• 近距离行人
• 空间关系判断弱

这些因素组合起来，触发模型稳定失效。

为了系统化挖出这类模式，论文提出 REVELIO，用两种搜索策略在离散组合空间里找 VLM 的脆弱条件：

• diversity-aware beam search
• Gaussian-process Thompson Sampling

然后作者把它应用到自动驾驶和室内机器人场景，发现了若干此前没有被系统性揭示的漏洞。

论文给出的结论很直白：

• 模型可能空间 grounding 很弱
• 可能忽略重大遮挡
• 可能漏掉安全隐患
• 也可能过度保守，导致误报过多、效率下降

为什么我觉得这篇重要？

因为很多时候，安全场景不能只接受一句“总体准确率还不错”。

真正需要回答的是：

模型会在什么条件下稳定翻车，而且这些条件能不能被人类理解和规避。

这篇论文提供的价值，就是把“模型不安全”从一句泛泛判断，往“可定位、可枚举、可修复”的 failure mode 地图推进了一步。

---

4）Re-Prefill：GUI grounding 的关键，不一定在 decode，而在 prefill

• arXiv：2605.12549
• 标题：What Happens Before Decoding? Prefill Determines GUI Grounding in VLMs
• 方向：GUI Agent / VLM Grounding / inference-time improvement

这篇论文切口很准。

很多 GUI Agent 工作都在想办法提升 grounding，也就是：

当用户说“点左下角那个按钮”时，模型到底能不能把目标元素定位准。

过去不少 training-free 方法会做：

• 多次推理
• 反复裁剪
• 候选聚合

但这篇论文指出了一个常被忽视的问题：

很多 grounding 错误，其实在 decode 之前就已经决定了。

作者把 GUI grounding 拆成两个阶段：

1. prefill 阶段决定候选 UI 元素范围
2. decoding 阶段再细化最终坐标

如果第一步候选选错了，后面 decode 再精细，也只是“在错误候选里做更精确的选择”。

这个观察我觉得很重要，因为它把大家的注意力从“输出坐标怎么调”转到了“输入阶段到底让模型注意到了什么”。

基于这个洞察，他们提出 Re-Prefill：

• 先做第一轮 prefill
• 根据 query position 的注意力信息提取高相关视觉 token
• 把这些 token 和 instruction hidden states 重新拼回输入
• 再做第二轮 prefill，让模型重新想一遍

本质上，这是一个 不训练、只改推理流程 的方法。

实验上，它在多个 VLM 和 GUI benchmark 上都带来稳定收益，包括：

• ScreenSpot-Pro
• ScreenSpot-V2
• OSWorld-G
• UI-Vision
• MMBench-GUI

我觉得这篇论文最大的价值不只是 4.3% 这种提升数字，而是它提醒我们：

很多多模态系统的瓶颈不在“不会生成答案”，而在“输入解释阶段就已经选错了关注对象”。

这对后面做 GUI Agent、网页操作 agent、移动端 agent 的人都很有参考意义。

---

5）CLIPR：用户真正的偏好，往往不在明面规则里

• arXiv：2605.12682
• 标题：Learning Transferable Latent User Preferences for Human-Aligned Decision Making
• 方向：Preference Learning / Human Alignment / LLM Decision Making

最后这篇我选得稍微“非主流”一点，但我觉得很值得看。

很多 human-aligned decision making 研究默认有一个前提：

• 用户会把偏好说清楚
• 系统能把这些偏好转成规则
• 然后按规则做决策

但真实情况通常不是这样。

很多重要偏好其实是隐性的：

• 用户更保守还是更激进
• 更重视速度还是更重视准确率
• 更在意长期稳定还是短期收益
• 面对模糊场景时希望系统怎么取舍

这些东西往往不会在一开始被说完整。

CLIPR 这篇论文做的是：

让 LLM 从有限对话中推断 latent user preferences，并把它们整理成可迁移的自然语言规则。

它的重点不是做一次性 personalization，而是希望这些偏好规则：

• 能从少量交互里学出来
• 能在不同任务和不同环境中迁移
• 能减少频繁反复询问用户的成本

这个问题对很多 agent 都会越来越重要。

因为当 agent 开始承担更长链条、更模糊目标的任务时，真正决定“做得像不像你想要的”往往不是任务目标本身，而是那些默认没说出口的取舍逻辑。

从摘要看，CLIPR 在三个数据集和用户研究里，都比已有方法在 alignment 和推理成本上表现更好。

我觉得这篇工作的长期价值在于：

alignment 不只是训练一个更听话的模型，也包括让系统逐步学会“这个用户做选择时的隐含原则”。

这对个人助手、决策助手、医疗/金融辅助系统都很关键。

---

最后总结：今天这批论文，最核心的关键词不是“能力”，而是“护栏”

如果只看 headline，今天这些论文没有那种“一个模型横扫全榜”的强烈戏剧性。

但从系统演化角度，我反而觉得它们更有意思。

因为它们都在补 AI 真正落地时最容易出问题的环节：

• VeGAS 在补执行前验证
• BenchJack 在补 benchmark 防作弊
• REVELIO 在补 VLM 结构化失效分析
• Re-Prefill 在补 GUI grounding 的前置注意力瓶颈
• CLIPR 在补用户隐性偏好的建模

一句话概括今天这组论文：

下一阶段的 AI 竞争，未必只是谁更会生成内容，而是谁更能把系统里的脆弱点提前识别出来，并用结构化方法补上。