前沿层 · 方向一 · 18 分钟
持续强化学习:别学了新的忘了旧的
智能体学任务 A 再学任务 B 时,共享参数被新数据拖走,A 的能力塌掉——灾难性遗忘。世界模型这条线上怎么不忘。
剥掉热词的本质
原帖说的参数高效微调不是主流解法。真解法有两条:浅层在线模型每次从当前数据重拟合,遗忘在数学上按构造不存在;或者混合专家式任务条件化加生成式回放,让旧模型「做梦」回放旧数据。
原帖说法
搭建可增量更新的世界模型架构,结合参数高效微调、知识复用技术,解决跨场景灾难性遗忘问题。
帖子与真相
「参数高效微调」是从 NLP 迁来的套话——LoRA、Adapter 这类方法在世界模型持续学习文献里是次要手段。ICML 2025 Spotlight 的答案是釜底抽薪:不用深度世界模型扛持续学习,改用浅层 Follow-The-Leader 在线模型加 MPC 规划。模型每步从当前数据从头重拟合,旧任务的能力不在参数里存着,自然无从遗忘——论文还证明了 regret 界 O(√(K²D·log T))。
要保住深度模型的表达力,主流是另一条:任务条件化的混合动态(如混合高斯学任务特定的潜动态)加生成式经验回放——让旧世界模型按旧数据的分布「做梦」,用梦出来的样本防止表征被拖走。ECML PKDD 2025 的 Life-Long World Model 在 DMC 和 Meta-World 上打赢了「持续学习技巧 × 视觉 RL」的直接组合。
还有一个常被忽略的问题:不止遗忘,网络还会僵化——Loss of Plasticity(CoLLAs 2023)指出持续深度 RL 里网络会学不动。遗忘与可塑性是一根杠杆的两端,不存在双双最优。
真实论文锚点
浅层 FTL 在线模型 + MPC,按构造免疫遗忘,带 regret 界;配套发布 Continual Bench 环境——此前这个领域连统一基准都没有。
混合高斯任务条件化潜动态 + 生成式经验回放 + 探索保守值估计,视觉连续控制的持续学习。
背景问题:持续学习中网络失去可塑性,遗忘之外的第二重故障。
需要的数学基础
| 这里的概念 | 站内落点 | 去哪学 |
|---|---|---|
| 遗忘的机制 | 函数逼近三要素:参数共享、数据分布、目标漂移 | /fund/approx/ → |
| 在线重拟合为何追得上 | 收敛性与不动点 | /math/fixed/ → |
| 旧任务保留率怎么定义 | 时间平均与集合平均 | /math/markov/ → |
| 值函数在非平稳环境下的账 | MC 与 TD 的偏差方差 | /fund/tabular/ → |
能真跑的入门动作
怎么做
不用碰深度模型。做一个 5×5 网格世界,任务 A→B 顺序呈现:用共享两层 MLP 的 Q-learning 跑一遍,测学 B 之后 A 的成功率掉了多少;再在 B 的训练流里混 25% 的 A 旧样本跑第二遍。一天能跑完,遗忘与可塑性的杠杆亲手摸到。
实跑结果站内已跑:expB_forgetting.py。目标格相邻时 naive 顺序训练遗忘量 1.00,replay 版遗忘量 0.00,独立表格控制组天然无遗忘——三个条件形成完整对照。
坑
- 遗忘与可塑性是一根杠杆:压遗忘的手段(锁参数、回放旧样本)通常同时压可塑性(学新任务变慢)。
- 这个领域长期缺统一基准,2025 年 Continual Bench 出现之前,论文之间的数字不可直接比。
- 「生成式回放」的旧样本质量取决于旧世界模型本身——模型偏了,梦也是偏的。