AI 前沿 · 每日整理
大模型为什么记不住“昨天”:记忆是在算力约束下对过去做压缩取舍
深潮编译长文指出:模型能记住人类全部静态知识,却记不住“昨天”——权重冻结、上下文有限,记忆本质是在算力约束下对过去做压缩取舍。“记忆”正在成为 Agent 产品的核心卖点,这篇长文把技术限制讲清楚了。
原文摘录
The sensors merely present “observations” at this moment, while it is the “system state” upon which the next decision relies; when immediate inputs cannot encompass the full history, the agent must learn to make trade-offs through compression.(大意:传感器此刻给的只是“观测”,而下一次决策依赖的是“系统状态”;当眼前的输入装不下全部历史时,智能体只能学会用压缩来取舍。)
值得肯定
把“记忆”这个卖点背后的技术限制讲清楚了:不是模型不想记,是架构上记不住——权重冻结、上下文有限,记忆本质是在算力约束下对过去做压缩取舍;用一帧 Pong 画面讲“感知混淆”这个例子,普通人也能一下听懂
需要注意
这是一篇编译长文(“记忆、遗忘与机器中的自我”系列第 3 篇),讲的是思路和框架,不是新实验或新数据;“记忆正在成为 Agent 产品的核心卖点”这个判断是作者的观察,文中没有给出市场数据支撑