AI 前沿 · 每日整理
Together AI 让 agent 持续重写推理代码，最高号称快 2.6 倍
Together AI 11 月 5 日推出 Together Compiler，用编码 agent 不断重写推理前向 pass，并在流量变化时持续重新优化。在 SemiAnalysis InferenceX 的 AgentX 负载上，最高比最优公开配置快 2.6 倍 TPS，单个配置 24 小时内完成；MiniMax M3.1 Flash 在 B200 上达 1111 P90 TPS，基线为 633。但各配置增益跨度很大，GLM 5.3 在 MI355X 上仅从 463 提到 480 TPS，约 4%。目前仅限 Together 客户内测。
值得肯定
把推理优化从一次性调参变成了持续编译：agent 做实验、测吞吐、保留更优实现，官方称 agent 实验吞吐量提升 252 倍；单个配置 24 小时内完成优化，MiniMax M3.1 Flash 在 B200 上从 633 提到 1111 P90 TPS，有具体数字。
需要注意
2.6 倍是厂商自报的最佳成绩，实际收益因模型与硬件差异极大，GLM 5.3 只快了约 4%，不能当成普遍承诺；目前仅限 Together 客户内测，普通开发者还用不上。