AI 前沿 · 每日整理
Salesforce 自省蒸馏：失败样本也能教模型，10 项任务最多提升 24.2 个百分点
Salesforce AI 研究院的论文提出一种叫自省蒸馏（SRD）的方法，解决智能体强化学习里的一个老毛病：同一任务几次尝试全都失败、分数全是零，模型就学不到任何东西，这些样本通常只能扔掉。SRD 的做法是先让模型走完一次完整尝试，再用这次经历去教模型“下次动手前就该预见到什么”，而且只在训练时用这个目标，真正用的时候不用多生成东西。在 10 项需要调用工具的推理和长流程智能体任务上，SRD 比只用结果打分的办法最多提升 24.2 个百分点。论文挂在 arXiv，编号 arXiv:2610.08077。
原文摘录
Building on this principle, we propose Self-Retrospection Distillation (SRD). For each on-policy trajectory, SRD pairs a pre-interaction prediction with a hindsight prediction conditioned on the completed interaction, and aligns their token-level distributions on the student’s own prospective rollout.（大意：基于这一原理，我们提出自省蒸馏（SRD）：对每条在线轨迹，把行动前的预测与行动完成后的事后预测配对，让两者在学生模型自己的前瞻 rollout 上逐 token 对齐。）
值得肯定
最实在的价值讲明白了：把本来要扔掉的失败样本捡回来用，尤其在小模型、难任务上效果最明显；标题里“从 0% 提升到 60.6%”当场加了限定，只属于 20 亿参数小模型、在 98% 的分组全部失败这种极端设定下的训练成功率，不是通用智能体成功率，没让夸张数字裸奔
需要注意
提升是在 10 项特定任务上测的，60.6% 那个数字只属于极端全失败设定，不能直接理解成“智能体成功率翻了 60 个点”；方法只是在训练时加一个辅助目标，推理时并不显式生成“预见”，实际部署效果还要看各家自己的任务能不能复现