[LG]《Learning More from Less: Reinforcement Learning from Hindsight》I Xu, S Jiang, J Marangola, N Dashora… [MIT & Stanford University] (2026)

在机器人操作领域，预训练生成式策略在面对新物体或环境偏移时极易失效。传统微调方法计算成本高昂且易导致原始技能遗忘，而直接在动作空间叠加修正量往往会破坏动作的连贯性。其本质原因是权重更新破坏了知识先验，而无约束的动作修正脱离了模型已掌握的合理行为流形。

本文的核心洞见是：将人类的干预动作重新看作模型内部的一种“初始意图”。通过逆向推导生成过程，系统计算出能产生特定修正动作的原始随机噪声。这种操作允许一个轻量级插件在不改变大模型参数的前提下，通过精准引导内部噪声来重塑机器人行为，使修正过程如同在模型已有的知识库中进行定向搜索。

这项工作真正留下的遗产是实现了模型规模与适配效率的解耦，仅需十余次人工干预即可在消费级显卡上完成复杂技能迁移。它为机器人基础模型的在线进化打开了低门槛路径，有效保留了通才能力。但其尚未跨过的门槛是：适配上限受限于基座模型的表达边界，无法诱导产生完全超出原始模型认知范围的全新动作。

arxiv.org/abs/2607.09042 机器学习 人工智能 论文 AI创造营