机器人不能停下来等模型：星尘发布SmoothRL，让在线强化学习跟上大模型的异步推理

星尘智能（Astribot） 基座模型团队发布能异步执行的在线强化学习框架SmoothRL

真实机器人没有“暂停键”。

现在的VLA、World-Action Model往往一次生成未来一段时间的动作序列，也就是action chunk。模型越来越大，推理时间也越来越长，但机器人不能每隔几百毫秒就停下来等模型推理下一段时间的动作。尤其在投掷这类高动态任务里，一次停顿就可能让已经积累起来的速度掉下去，导致整个任务失败。

所以真实部署里更常见的方式是 异步推理 ：机器人继续执行手头的动作，模型同时在后台计算下一段。简单说， 手上做A，模型已经在算B。

但这给在线强化学习带来了一个新的问题：模型一次生成了一段动作序列（action chunk），进入物理世界的真正会用的，却往往只有其中一部分。模型“计划过”的动作，和机器人“真正做过”的动作，不再完全相同。

近日，星尘智能（Astribot） 基座模型团队发布能异步执行的在线强化学习框架SmoothRL（Online Reinforcement Learning During Asynchronous Execution） 。解决的是 大模型异步推理成为真实部署常态后，与之适配的online RL到底该从哪些动作里学。

SmoothRL首次将这类异步online RL放到真实高动态投掷任务中验证，进一步证明在线学习不仅能用于高精度修正，也能适配连续加速、精确释放、不能停顿的动态操作。

图注：SmoothRL整体框架：机器人在异步执行中持续产生真实数据，基础策略提供通用能力，在线RL会根据真实执行结果更新动作策略。

传统在线RL往往默认一种更规整的节奏：模型先算出动作，机器人执行，再根据结果更新策略。模型生成什么，机器人就执行什么。

异步执行打破了这个对应关系。等一段新的action chunk算出来，机器人已经沿着上一轮指令往前做了一截；而这一段新动作还没全部执行完，下一轮推理结果又可能到来，把后半段直接替换。于是，一整段action chunk里，有些动作已经来不及改，有些真正执行了，还有一些根本没有发生。

如果强化学习仍然把整段动作一起拿来优化，就会出现一个很直接的问题： 机器人来不及改或没做过的动作，也可能因为这次任务成功而被“记功”，或者因为失败而“背锅”。

SmoothRL先把这笔账拆清楚。它将action chunk按执行状态分成三个区域：

训练的时候，不能把这三部分一视同仁。SmoothRL的核心思想就是： 机器人真正执行了什么，就只对什么进行强化学习。 也就是说， 只让梯度穿过execution region（执行区域）。

这样训练出来的模型，优化目标才和机器人真实运行时经历的过程一致。第二步，是让训练和部署遵守同一套时间节奏。SmoothRL在训练rollout中就直接运行异步推理：模型计算和机器人执行并行发生，replay buffer记录的也是这种真实时间关系下产生的轨迹。团队将这一原则概括为Reinforce in Deployment（在部署强化学习） ——不是先在一个理想的同步世界里训练，再换成异步方式部署，而是从训练开始就面对机器人真正会遇到的执行动态。

在论文的具体实现中，团队采用针对各任务微调后的 π0.5作为基础策略，并沿用RLT的基本骨架，用轻量TD3-style actor-critic在原始动作空间预测residual correction。S1以30 Hz执行动作，推理请求频率为5 Hz，即每200 ms得到一个新的action chunk。基础策略每次预测32帧动作；在固定延迟预算下，Committed与Execution共占12帧，其中6帧属于本轮真正执行的Execution Region，其余20帧在执行前会被后续chunk覆盖。

图注：SmoothRL将异步action chunk划分为Committed/Execution/Discarded三个区域，并只让价值梯度通过真正执行的Execution Region。

团队在绳驱本体星尘智能S1上测试了三项真机任务，覆盖两类常见且互补场景：高速动态操作与 高精度双臂操作 。

特别是高动态任务 ：机器人动作变化很快，如果每一步都等模型算完再执行，就会卡顿，所以必须采用异步推理。

动态投掷：39% → 94%。 机器人需要从随机位置抓取物体，再投进不同位置的目标箱。这个任务不是到达一个目标位姿就结束，而是要求手臂在摆动过程中持续积累速度，并在准确时刻释放。论文特别指出，一旦在action chunk边界发生停顿，手臂可能几乎降到静止，剩余摆动很难重新恢复所需释放速度。因此，它对异步执行尤其敏感。在累计250个rollout episodes的评估节点，成功率从基础策略的39%提升至94%。

给笔戴帽：8% → 83%。 双臂需要把笔和笔帽精确对齐，允许的相对位姿误差约为5 mm。基础策略通常已经能到达目标附近，但对不同笔帽位置的微小变化适应不足。最终成功率从8%提升至83%。

快递开箱：30% → 90%。 机器人需要用约1 mm宽的刀片插入仅2—3 mm宽的箱盖接缝，再沿接缝切开胶带。基础策略存在稳定左偏。值得注意的是，它的学习曲线并非一路上升：150个rollout episodes时成功率一度从30%降到20%，随后回升至40%，最终达到90%。真实在线探索并不一定单调变好。

图注： 三项真机任务随累计rollout episodes增加的成功率变化。

比成功率更值得看的是，机器人的“错法”变了。

RL之前，三项任务都有明显的系统性偏差：投掷时不能根据目标距离正确调节释放速度；开箱时刀片持续向左偏；给笔戴帽时，对不同笔帽位置产生过于相似的动作。在线RL做的，就是利用真实执行结果，一点点把这些固定偏差修回来。

到最终checkpoint，失败已经明显向成功位置收缩。开箱任务的失败样本中，刀片相对接缝的左右偏差约为1—2 mm；给笔戴帽的失败样本也主要变成了正确位置附近的小幅错位。

所以这里的RL，并不是从零重新教机器人“什么叫开箱”，而是在做一件更接近部署的问题： 把一个已经基本会做的策略，继续练到足够准确。

而且，更准的同时还要兼顾动作平滑性。通过在策略中加入平滑性约束，在一次真实自主投掷rollout中，经过在线RL后，右侧末端执行器的加速度均方根下降了52%，急动度（Jerk）下降了47%。也就是说，机器人不仅成功率更高，突然加速、减速和方向变化也更少，整个投掷过程更平稳、更连续。

图注： 动态投掷中的Velocity/Acceleration/Jerk对比

过去几年，机器人基础模型主要解决的是“会不会”：用更多数据、更强模型，把能力做宽。但机器人真正进入真实环境以后，新的问题往往不是完全不会，而是差几毫米、差半拍，或者换一个物体位置就不够稳定。

SmoothRL关注的是这之后的一层： 一个已经具备基础能力的pretrained policy，进入真实世界以后，能不能继续根据真实执行结果修正自己。

论文当前使用的是稀疏的任务成功/失败奖励，训练过程中操作员也可以在必要时介入，介入动作属于raw action space中，并可直接用于后续的模型训练。因此，这还不是完全无人参与的“自主进化”，而是一套面向真实部署的更高效的在线后训练机制。

它也有明确边界。当前实现要求每次chunk-level inference都在预设latency budget内完成；轻量residual policy的表达能力也受到冻结基础策略限制。如果基础策略本身离目标行为太远，局部residual correction并不能凭空把它救回来。

下一步，团队计划进一步探索更大范围的策略更新、更广泛的任务分布，以及异步执行与生成式策略端到端优化之间的结合。

SmoothRL指向的是一个正在变得越来越具体的问题： 预训练让机器人学会怎么做，真实世界里的后训练，再把这些能力练得更准、更稳、更可靠。

SmoothRL背后，延续了星尘在机器人模型上一条独特的长期判断： 动作不是视觉或语言模型最后附带生成的结果，而应该成为机器人智能里的“第一公民模态”。 因为机器人最终不只是为了看懂世界，更要在物理世界正确行动。所以Lumo系列基座模型始终关注“为什么要这样动”，从Lumo-1的显式推理、到Lumo-2预测世界因动作带来的变化，都在沿此思路发展。

在这条主线下，星尘也形成了从 前端Agent、中间基座模型、到RL后训练的完整模型布局 ：Agent负责交互、记忆、理解任务与调用能力，基座模型逐步形成开放场景里可泛化的通用操作能力，RL再从真实执行中的成功、失败和反馈中修正策略、持续进化。

在模型全面发展时，星尘 “AI模型-具身OS-绳驱本体”的全栈系统也在持续迭代，推动Physical AI的应用与规模化部署。

SmoothRL由星尘智能王佳楠担任项目负责人，高广、农宇轩为共同第一贡献者，黄百富参与研究。

技术报告：www.astribot.com/en/research/SmoothRL

本文由星尘智能提供，量子位获授权转载，观点归原作者所有。

星尘智能于2022年12月在深圳成立，专注研发“新一代最强AI机器人助理”

Figure CEO都赶紧来围观

9月2日，前字节跳动强化学习专家、前腾讯Robotics X智能体中⼼负责⼈孙鹏博⼠正式加入星尘智能