← 返回 2026 年 11 月 7 日 信息流

AI 前沿 · 每日整理

小模型先审、大模型只复核:Jev+Opus 混合调用精度持平、成本降至约四分之一

Hightouch 实测了一种混合调用办法:先让小模型 Jev 筛一遍身份解析任务,只把低置信度的样本转交给 Opus。结果准确率 98.8%,接近 Opus 单独跑的 99.0%,成本却从每千条 3.86 美元降到 0.88 美元,约四分之一;在更难的测试集上,混合方案 95.3% 甚至反超 Opus 单独的 95.1%。

Jev+Opus 混合调用配图

原文摘录

We found that while both models performed okay out of the box (88.8–97.3% accuracy), implementing a hybrid model that combines Jev + Opus achieves frontier accuracy at > 4x lower costs.(大意:我们发现,两个模型开箱即用的表现都不错(准确率 88.8%–97.3%),但把 Jev 和 Opus 组合成混合模型后,能以低 4 倍多的成本达到前沿准确率。)

值得肯定

数字给全了:准确率、成本、两个测试集的结果都有,复现路径讲得清(先测小模型置信度分布,再算疑难样本交给大模型后的总账);“便宜模型先筛、贵模型只兜底”是通用范式,不只适用于 Jev

需要注意

效果高度依赖任务类型与置信度校准,换个任务未必有同样收益;Jev 的置信度校准得好是关键,校准不好这套分工就立不住

来源

回到最新更新