机器人入行指南
前沿层/方向一

前沿层 · 方向一 · 18 分钟

持续强化学习:别学了新的忘了旧的

智能体学任务 A 再学任务 B 时,共享参数被新数据拖走,A 的能力塌掉——灾难性遗忘。世界模型这条线上怎么不忘。

naive 微调·新任务学好了·旧任务 1.00→0.00(实验B实跑)·灾难性遗忘按构造免疫的路线·浅层在线模型 + 规划·旧样本回放(25% 即可保住)·regret bound 可证明vs遗忘的病灶在「微调覆盖预训练表征」——参数高效微调不是主流解法
18 分钟3 篇论文锚点4 处数学落点3 个坑

剥掉热词的本质

原帖说的参数高效微调不是主流解法。真解法有两条:浅层在线模型每次从当前数据重拟合,遗忘在数学上按构造不存在;或者混合专家式任务条件化加生成式回放,让旧模型「做梦」回放旧数据。

原帖说法

搭建可增量更新的世界模型架构,结合参数高效微调、知识复用技术,解决跨场景灾难性遗忘问题。

帖子与真相

「参数高效微调」是从 NLP 迁来的套话——LoRA、Adapter 这类方法在世界模型持续学习文献里是次要手段。ICML 2025 Spotlight 的答案是釜底抽薪:不用深度世界模型扛持续学习,改用浅层 Follow-The-Leader 在线模型加 MPC 规划。模型每步从当前数据从头重拟合,旧任务的能力不在参数里存着,自然无从遗忘——论文还证明了 regret 界 O(√(K²D·log T))。

要保住深度模型的表达力,主流是另一条:任务条件化的混合动态(如混合高斯学任务特定的潜动态)加生成式经验回放——让旧世界模型按旧数据的分布「做梦」,用梦出来的样本防止表征被拖走。ECML PKDD 2025 的 Life-Long World Model 在 DMC 和 Meta-World 上打赢了「持续学习技巧 × 视觉 RL」的直接组合。

还有一个常被忽略的问题:不止遗忘,网络还会僵化——Loss of Plasticity(CoLLAs 2023)指出持续深度 RL 里网络会学不动。遗忘与可塑性是一根杠杆的两端,不存在双双最优。

真实论文锚点

Continual RL by Planning with Online World ModelsarXiv 2507.09177 · ICML 2025 Spotlight

浅层 FTL 在线模型 + MPC,按构造免疫遗忘,带 regret 界;配套发布 Continual Bench 环境——此前这个领域连统一基准都没有。

Continual Visual RL with A Life-Long World ModelECML PKDD 2025 · 上海交大

混合高斯任务条件化潜动态 + 生成式经验回放 + 探索保守值估计,视觉连续控制的持续学习。

Loss of Plasticity in Continual Deep RLCoLLAs 2023

背景问题:持续学习中网络失去可塑性,遗忘之外的第二重故障。

需要的数学基础

这里的概念站内落点去哪学
遗忘的机制函数逼近三要素:参数共享、数据分布、目标漂移/fund/approx/ →
在线重拟合为何追得上收敛性与不动点/math/fixed/ →
旧任务保留率怎么定义时间平均与集合平均/math/markov/ →
值函数在非平稳环境下的账MC 与 TD 的偏差方差/fund/tabular/ →

能真跑的入门动作

怎么做

不用碰深度模型。做一个 5×5 网格世界,任务 A→B 顺序呈现:用共享两层 MLP 的 Q-learning 跑一遍,测学 B 之后 A 的成功率掉了多少;再在 B 的训练流里混 25% 的 A 旧样本跑第二遍。一天能跑完,遗忘与可塑性的杠杆亲手摸到。

实跑结果站内已跑:expB_forgetting.py。目标格相邻时 naive 顺序训练遗忘量 1.00,replay 版遗忘量 0.00,独立表格控制组天然无遗忘——三个条件形成完整对照。

坑

接着看

全系列 6 个方向