亚马逊在首届AutoML会议上荣获最佳论文奖
论文提出了一种停止超参数优化过程的新准则
在首届自动化机器学习（AutoML）会议上，我们团队凭借关于贝叶斯优化终止方法的研究获得最佳论文奖。该研究解决了机器学习中关键的超参数优化（HPO）问题——如何确定停止搜索的最佳时机。
超参数优化的核心挑战
超参数（如决策树深度、神经网络层数等）显著影响模型性能。传统HPO需反复训练模型以评估不同配置，但穷举搜索耗时严重。现有终止标准（如最优配置持续未改进）缺乏理论依据。
创新性终止准则
论文《超参数优化的自动终止》提出基于统计误差与泛化误差差距的新判据：
- 理论突破：证明当统计误差超过遗憾值（理想配置与当前最优配置的差距）边界时，继续优化可能适得其反
- 实践方法：通过交叉验证估计统计方差，结合贝叶斯优化中高斯过程假设推导遗憾值边界
- 实验验证：在XGBoost、随机森林和深度神经网络上测试，平均节省20%计算时间同时保持模型精度
图示：γ为超参数配置，f-hat是验证集误差估计，绿色与橙色线差距代表遗憾值上界估计
技术实现关键
- 双重不确定性处理：同时考虑优化过程的不确定性（遗憾值）和评估过程的不确定性（统计误差）
- 无需先验知识：仅依赖交叉验证产生的统计方差和标准高斯假设
- 通用性适配：适用于各类基于贝叶斯优化的HPO算法
该成果为AutoML领域提供了可解释、可量化的计算资源分配方案，相关代码已集成至开源库Syne Tune。研究团队进一步计划将该框架扩展至多保真度优化场景。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码
