AI 前沿 · 每日整理
研究算出多模型投票的天花板:错误一相关,加再多模型也约等于三票
发表于 Discover Informatics 的新研究用可交换二元投票模型算出硬结论:模型间错误相关性为 0.3 时,100 个智能体的有效独立票数仅约 3.3 票,上限就是 1 除以 0.3。单智能体正确率 0.65 时,相关性 0.3 下集成准确率卡在 0.71 附近,相关性 0.5 时几乎不优于单个模型。相关性的根源是共享预训练数据、架构与提示,调温度降低相关性不等于获得独立性。
值得肯定
给出了硬结论和算法:有效独立票数上限就是 1 除以相关性,100 个智能体在相关性 0.3 时只约等于 3.3 票;直接指导做法:想提准确率更值得降低模型间的相关性,例如换不同来源、不同架构的模型,而不是同一家的多个尺寸。
需要注意
结论基于可交换二元投票模型,是理论推导而非大规模实测,具体任务的收益要结合实际相关性测算;对只用一两个模型的普通用户没有直接影响,更多是给搭多模型集成系统的团队看的。