03第一作者 · ICLR 2027 在投
STEER
STEER: Scaling Long-Term Memory for Self-Evolving GUI Agents
保持执行模型冻结，把持续交互变成有适用条件、经过试验验证、能够按任务选择复用的操作知识。
Research overview
这项工作解决什么问题？
保存历史轨迹或召回相似经验，并不能保证经验经过验证，也不能保证它适用于当前操作。STEER 研究如何连接经验生成、受控准入与任务条件化复用，使长期记忆在持续交互中改善任务表现。
- 结果条件化的操作知识：统一表示行为类型、适用与完成条件、迁移范围和来源证据。
- 受控经验演化：局部编辑与合并后，通过候选试验、匹配对照和准入门控决定是否进入正式记忆库。
- TaskContract 检索与组合：排除动作方向、对象与完成条件等冲突，组合主要流程与补充警示，无兼容经验时不注入。
- 第一作者，主导方法设计、系统实现和实验评测全流程。
- 设计结果条件化表示、候选试验与准入机制，以及基于任务契约的检索和组合。
- 完成 MobileWorld 主实验、重复实验、机制对照与独立初始化的 OSWorld V2 桌面实验。
01Long-term memory
从保存轨迹，到管理可复用的操作知识
MemGUI-Agent 关注任务内的上下文管理；STEER 关注跨任务、跨轮次的经验演化。执行模型保持冻结，改进来自外部知识的生成、验证与选择。
找到与任务语义相关的经验，但同一应用中的操作方向、对象角色和完成条件可能不同。
经验何时具备常规复用的证据？进入正式库后，又何时适用于当前任务？
02STEER lifecycle
经验表示、受控准入与任务条件化复用
经验表示
成功轨迹提出流程等正向经验；失败轨迹默认提出风险与反例。两者都需要明确适用条件和来源。
候选试验
候选与匹配对照进入实际任务执行，积累任务得分、行为有效性与潜在负作用的证据。
受控准入
达到试验、对照和有效使用要求，且观察到正收益、无已观测伤害，才进入正式库。
任务条件化复用
按当前任务的操作目标过滤冲突，最多组合一个主要流程与一个补充警示。
03Representation & admission
把经验写成有边界、可检验的行为假设
知识包含功能类型、适用条件、完成条件、迁移范围和来源证据。成功或失败决定可提出的经验角色，经验是否能被常规复用则由试验证据决定。
至少 2 次试验和 2 次对照；任务得分差为正；至少 2 次成功使用目标行为；未观察到有害案例。证据不足时保持待定。
新增、替换与删除以知识条目为单位；同一轮任务读取共同记忆快照，合并与准入决策在下一轮边界生效。
04TaskContract
先判断操作是否适用，再组合互补经验
将任务解析为应用、源与目标角色、动作、对象、约束和完成条件。召回后过滤关键冲突，最多组合一个主要流程与一个补充警示；没有兼容经验时不注入。
05MobileWorld results
提高五轮任务覆盖，同时减少注入的经验上下文
117 个 GUI-only 任务，Seed-2.0-Pro 执行，Gemini 2.5 Pro 提取知识。各记忆条件从空库开始，在相同任务顺序与评分协议下执行五轮；候选试验计入这些执行及结果。
| 方法 | Pass@1 | Pass@3 | Pass@5 | 经验上下文 token |
|---|---|---|---|---|
| No Memory | 55.6% | 65.8% | 67.5% | 0 |
| AppendAll + Similarity | 55.6% | 66.7% | 70.1% | 298.1k |
| AppendAll + Operational | 56.4% | 68.4% | 74.4% | 178.0k |
| STEER | 52.1% | 69.2% | 77.8% | 83.4k |
| 方法 | Pass@1 | Pass@3 | Pass@5 | 平均经验上下文 |
|---|---|---|---|---|
| AppendAll + Similarity | 54.1 ± 2.5% | 66.1 ± 0.5% | 70.4 ± 0.5% | 297.5k |
| STEER | 54.4 ± 2.6% | 68.9 ± 1.3% | 76.4 ± 1.3% | 87.8k |
Pass@k 表示 k 轮内至少成功一次的任务比例。70.5% 的节省仅指检索后注入的经验上下文，不代表总推理、生成或验证成本降低 70.5%。
06Mechanism & transfer
控制经验暴露量，验证选择内容的作用
| 条件 | 执行成功率 | 经验上下文 token |
|---|---|---|
| 无记忆 | 53.55% | 0 |
| 同池相似度选择 | 59.93% | 131,896 |
| STEER 选择 | 69.86% | 131,290 |
相对同池相似度选择提升 9.93 个百分点，任务聚类 bootstrap 95% CI 为 [4.61, 15.60]；上下文成本相差不足 0.5%。此处是固定身份的执行成功率，非全基准累计 Pass@5。
跨任务经验复用
禁止经验影响其来源任务后，STEER 五轮完成 90/117 个任务（76.92%），相似度基线完成 88/117（75.21%）；经验上下文为 40.1k 对 294.1k token。
独立桌面演化
OSWorld V2 使用 108 个任务，从空记忆库重新学习。五轮累计 partial reward 从 13.69% 提升到 16.35%；严格完成任务数从 0 个提升到 2 个。此实验迁移的是方法，而非移动端知识库。
| 轮次 | Base partial reward | STEER partial reward | Base 完成 / 108 | STEER 完成 / 108 |
|---|---|---|---|---|
| 1 | 7.90% | 6.46% | 0 | 0 |
| 2 | 9.53% | 9.07% | 0 | 0 |
| 3 | 11.35% | 12.01% | 0 | 0 |
| 4 | 12.88% | 15.47% | 0 | 1 |
| 5 | 13.69% | 16.35% | 0 | 2 |
07GUI evidence
一条警示，改变实际的信息获取路径
发送面试邀请时，Agent 曾在找到简历后转而搜索联系人。经验提示它先打开源简历、提取手机号，再直接输入号码发送短信。
主实验前五轮，候选经验参与 141/585 次任务执行。77.8% 衡量完整生命周期，不能只归因于正式库的复用。
九轮记录支持选择性部署与较少上下文消耗，但候选池仍增长；桌面 partial reward 衡量任务进度，完整任务完成能力仍有提升空间。