AI 前沿 · 每日整理
小模型先审、大模型只复核:Jev+Opus 混合调用精度持平、成本降至约四分之一
Hightouch 实测了一种混合调用办法:先让小模型 Jev 筛一遍身份解析任务,只把低置信度的样本转交给 Opus。结果准确率 98.8%,接近 Opus 单独跑的 99.0%,成本却从每千条 3.86 美元降到 0.88 美元,约四分之一;在更难的测试集上,混合方案 95.3% 甚至反超 Opus 单独的 95.1%。
原文摘录
We found that while both models performed okay out of the box (88.8–97.3% accuracy), implementing a hybrid model that combines Jev + Opus achieves frontier accuracy at > 4x lower costs.(大意:我们发现,两个模型开箱即用的表现都不错(准确率 88.8%–97.3%),但把 Jev 和 Opus 组合成混合模型后,能以低 4 倍多的成本达到前沿准确率。)
值得肯定
数字给全了:准确率、成本、两个测试集的结果都有,复现路径讲得清(先测小模型置信度分布,再算疑难样本交给大模型后的总账);“便宜模型先筛、贵模型只兜底”是通用范式,不只适用于 Jev
需要注意
效果高度依赖任务类型与置信度校准,换个任务未必有同样收益;Jev 的置信度校准得好是关键,校准不好这套分工就立不住