← 返回 2026 年 11 月 4 日 信息流

AI 前沿 · 每日整理

StateBench 实测:在长文里“记着东西变了几次”,最强的模型也会跟丢

读长文、读代码时,东西的位置和数值会反复变化,记错一步,后面全错。AllenAI 的新测试 StateBench 把这种“记状态”的难度分成四档,从“值定了就不变”到“变量互相引用着改”。结果是:Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在简单档没问题,到最难档、输入一变长,准确率掉到 13% 或更低。反倒是专门训练过的小个子循环、混合架构模型,在长序列上撑得更远。

StateBench 配图:长卷轴上不断变化的便签与跟丢的线索

原文摘录

frontier models including Gemini 3.8 Flash, Claude Opus 5.5, and GPT-6 Sol and Luna still break down on harder forms of state tracking as inputs grow longer.(大意:包括几家前沿模型在内,遇到较难的状态追踪题、输入一变长,就会跟丢。)

值得肯定

把难度分档来测,能看出模型具体在哪一档开始崩,而不是只给一个总分;专门训练的小模型在长序列上反而更稳,给“选什么架构”提供了实测证据。

需要注意

测的是人工构造的变量赋值题,跟真实长文阅读还有距离;它假设要记的东西数量固定,真实对话里新人物、新物件不断冒出来,这部分还没测到。

来源

回到最新更新