AI 前沿 · 每日整理
StateBench 实测:在长文里“记着东西变了几次”,最强的模型也会跟丢
读长文、读代码时,东西的位置和数值会反复变化,记错一步,后面全错。AllenAI 的新测试 StateBench 把这种“记状态”的难度分成四档,从“值定了就不变”到“变量互相引用着改”。结果是:Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在简单档没问题,到最难档、输入一变长,准确率掉到 13% 或更低。反倒是专门训练过的小个子循环、混合架构模型,在长序列上撑得更远。
原文摘录
frontier models including Gemini 3.8 Flash, Claude Opus 5.5, and GPT-6 Sol and Luna still break down on harder forms of state tracking as inputs grow longer.(大意:包括几家前沿模型在内,遇到较难的状态追踪题、输入一变长,就会跟丢。)
值得肯定
把难度分档来测,能看出模型具体在哪一档开始崩,而不是只给一个总分;专门训练的小模型在长序列上反而更稳,给“选什么架构”提供了实测证据。
需要注意
测的是人工构造的变量赋值题,跟真实长文阅读还有距离;它假设要记的东西数量固定,真实对话里新人物、新物件不断冒出来,这部分还没测到。