[LG]《Multiple-Prediction-Powered Inference》C Cowen-Breen, A Agarwal, S Bates, W W. Cohen… [MIT & Google Research] (2026)
在固定标注预算下,同时存在多个质量与价格各异的模型时,既有方法要么只能利用单一预测器,要么强制将所有模型捆绑查询——无法回答"该查哪些模型、查多少次"这一核心分配问题,导致预算被低效消耗。
本文的核心洞见是:把"用哪个模型"这一离散选择,重新看作一个在所有模型子集上的连续采样权重优化问题。由此,将方差最小化与预算约束联立为一个二阶锥规划,使最优分配策略可被直接求解——低预算时自动押注性价比最高的廉价模型,高预算时逐步纳入更贵但更准确的模型组合。
这项工作真正留下的遗产是:为"多源异构代理测量"场景提供了一套有极小极大最优性保证的统计推断框架。它为后来者打开的新门是:将测试期算力分配(如推理步数)纳入统计估计的一等公民。但尚未跨过的门槛是:当模型数量增大时,子集空间指数级膨胀,受限版本的线性近似在理论上仍缺乏严格的方差损失界。
arxiv.org/abs/2603.27414 机器学习 人工智能 论文 AI创造营








