自动机器学习优秀论文集

自动机器学习优秀论文集是一个精心策划的自动机器学习论文、文章、教程、幻灯片和项目列表。收藏这个仓库，您就能及时了解这个蓬勃发展的研究领域的最新进展。感谢所有为这个项目做出贡献的人。欢迎加入我们，成为贡献者。

什么是自动机器学习？

自动机器学习（AutoML）提供了方法和流程，使非机器学习专家也能使用机器学习，提高机器学习的效率，并加速机器学习的研究。

近年来，机器学习（ML）取得了相当大的成功，越来越多的学科依赖于它。然而，这种成功在很大程度上依赖于人类机器学习专家执行以下任务：

预处理数据
选择适当的特征
选择适当的模型族
优化模型超参数
后处理机器学习模型
critically分析获得的结果

由于这些任务的复杂性常常超出非ML专家的能力范围，机器学习应用的快速增长创造了对现成机器学习方法的需求，这些方法可以轻松使用，无需专业知识。我们将旨在逐步实现机器学习自动化的研究领域称为AutoML。作为机器学习中的一个新的子领域，AutoML不仅在机器学习中，而且在计算机视觉、自然语言处理和图计算中都得到了更多关注。

AutoML没有正式定义。根据大多数论文的描述，AutoML的基本流程可以概括如下。

AutoML方法已经足够成熟，可以与人类机器学习专家相媲美，有时甚至表现更好。简单来说，AutoML可以在节省大量时间和金钱的同时提高性能，因为机器学习专家既难找又昂贵。因此，近年来商业界对AutoML的兴趣急剧增长，几家主要科技公司和初创公司现在都在开发自己的AutoML系统。下表总结了其中一些公司的比较概述。

公司	自动特征工程	超参数优化	神经架构搜索
4paradigm	√	√	×
阿里巴巴	×	√	×
百度	×	×	√
Determined AI	×	√	√
谷歌	√	√	√
DataCanvas	√	√	√
H2O.ai	√	√	×
微软	×	√	√
MLJAR	√	√	√
RapidMiner	√	√	×
腾讯	×	√	×

自动机器学习优秀论文集包含了我们在AutoML中需要的基本技术的最新概述：

自动数据清洗（Auto Clean）
自动特征工程（Auto FE）
超参数优化（HPO）
元学习
神经架构搜索（NAS）

论文

综述

2019 | 自动机器学习：技术现状 | Xin He等 | arXiv | PDF
2019 | 自动机器学习综述 | Marc Zoeller, Marco F. Huber | arXiv | PDF
2019 | 自动机器学习：现状与开放挑战 | Radwa Elshawi等 | arXiv | PDF
2018 | 从学习应用中移除人为因素：自动机器学习综述 | Quanming Yao等 | arXiv | PDF
2020 | 机器学习算法超参数优化：理论与实践 | Li Yang等 | Neurocomputing | PDF
2020 | 自动机器学习——早期阶段末的简要回顾 | Escalante, H. J. | arXiv | PDF
2022 | 动态环境中的物联网数据分析：从自动机器学习的角度 | Li Yang等 | arXiv | PDF
2024 | 自动机器学习：过去、现在和未来 | Baratchi. M等 | Artificial Intelligence Review | Springer

自动特征工程

扩展减少

2022 | BERT-Sort：用于自动机器学习的序数特征零样本MLM语义编码器 | Mehdi Bahrami等 | AutoML | PDF
2017 | AutoLearn — 自动特征生成与选择 | Ambika Kaul等 | ICDM | PDF
2017 | 关系数据库中自动特征工程的一键式机器 | Hoang Thanh Lam等 | arXiv | PDF
2016 | 自动化特征工程 | Udayan Khurana等 | NIPS | PDF
2016 | ExploreKit：自动特征生成与选择 | Gilad Katz等 | ICDM | PDF
2015 | 深度特征合成：迈向自动化数据科学工作 | James Max Kanter, Kalyan Veeramachaneni | DSAA | PDF

转换的层次组织

2016 | Cognito：监督学习的自动特征工程 | Udayan Khurana等 | ICDMW | PDF

元学习

2020 | AutoML管道选择：高效导航组合空间 | Chengrun Yang等 | KDD | PDF
2017 | 学习分类的特征工程 | Fatemeh Nargesian等 | IJCAI | PDF

强化学习

2017 | 使用强化学习进行预测建模的特征工程 | Udayan Khurana等 | arXiv | PDF
2010 | 将特征选择作为单人游戏 | Romaric Gaudel, Michele Sebag | ICML | PDF

架构搜索

进化算法

2019 | 深度学习的进化神经AutoML | Jason Liang等 | GECCO | PDF
2017 | 图像分类器的大规模进化 | Esteban Real等 | PMLR | PDF
2002 | 通过增强拓扑进化神经网络 | Kenneth O.Stanley, Risto Miikkulainen | Evolutionary Computation | PDF

局部搜索

2017 | 卷积神经网络的简单高效架构搜索 | Thomoas Elsken等 | ICLR | PDF

元学习

2016 | 学习优化 | Ke Li, Jitendra Malik | arXiv | PDF

强化学习

2018 | AMC：移动设备上模型压缩和加速的AutoML | Yihui He等 | ECCV | PDF
2018 | 通过参数共享实现高效神经架构搜索 | Hieu Pham等 | arXiv | PDF
2017 | 使用强化学习进行神经架构搜索 | Barret Zoph, Quoc V. Le | ICLR | PDF

迁移学习

2017 | 学习可迁移架构以实现可扩展图像识别 | Barret Zoph等 | arXiv | PDF

网络形态学

2019 | Auto-Keras：高效神经架构搜索系统 | Haifeng Jin等 | KDD | PDF

连续优化

2018 | 神经架构优化 | Renqian Luo等 | arXiv | PDF
2019 | DARTS：可微分架构搜索 | Hanxiao Liu等 | ICLR | PDF
2021 | SEDONA：面向贪婪块级学习的解耦神经网络搜索 | Pyeon等 | ICLR | PDF

框架

2019 | Auptimizer -- 一个可扩展的开源超参数调优框架 | Jiayi Liu等 | IEEE Big Data | PDF
2019 | 面向模块化和可编程架构搜索 | Renato Negrinho等 | NeurIPS | PDF
2019 | 深度学习的进化神经AutoML | Jason Liang等 | arXiv | PDF
2017 | ATM：自动机器学习的分布式、协作、可扩展系统 | T. Swearingen等 | IEEE | PDF
2017 | Google Vizier：黑盒优化服务 | Daniel Golovin等 | KDD |PDF
2015 | AutoCompete：机器学习竞赛框架 | Abhishek Thakur等 | ICML | PDF

超参数优化

贝叶斯优化
- 2020 | 风险度量的贝叶斯优化 | NeurIPS | PDF
- 2020 | BOTORCH：高效蒙特卡洛贝叶斯优化框架 | NeurIPS | PDF
- 2020 | 无需研究生调参：使用Dragonfly进行可扩展和稳健的贝叶斯优化 | JMLR | PDF
- 2019 | 未知搜索空间的贝叶斯优化 | NeurIPS | PDF
- 2019 | 带噪声实验的约束贝叶斯优化 | PDF
- 2019 | 学习贝叶斯优化的搜索空间：超参数迁移学习的另一视角 | NeurIPS | PDF
- 2019 | 实用的两步前瞻贝叶斯优化 | NeurIPS | PDF
- 2019 | 带约束的多目标贝叶斯优化的预测熵搜索 | PDF
- 2018 | BOCK：带圆柱核的贝叶斯优化 | ICML | PDF
- 2018 | 使用可加性和正交傅里叶特征的高效高维贝叶斯优化 | Mojmír Mutný等 | NeurIPS | PDF
- 2018 | 通过具有重叠组的加性模型进行高维贝叶斯优化 | PMLR | PDF
- 2018 | 贝叶斯优化的获取函数最大化 | NeurIPS | PDF
- 2018 | 可扩展的超参数迁移学习 | NeurIPS | PDF
- 2016 | 使用稳健贝叶斯神经网络的贝叶斯优化 | Jost Tobias Springenberg等 | NIPS | PDF
- 2016 | 使用高斯过程专家乘积的可扩展超参数优化 | Nicolas Schilling等 | PKDD | PDF
- 2016 | 将人从循环中移除：贝叶斯优化综述 | Bobak Shahriari等 | IEEE | PDF
- 2016 | 走向自动调优的神经网络 | Hector Mendoza等 | JMLR | PDF
- 2016 | 用于自动超参数优化的两阶段迁移代理模型 | Martin Wistuba等 | PKDD | PDF
- 2015 | 高效且稳健的自动机器学习 | PDF
- 2015 | 使用因子化多层感知机的超参数优化 | Nicolas Schilling等 | PKDD | PDF
- 2015 | 超参数搜索空间剪枝 - 一个新的序列模型超参数优化组件 | Martin Wistua等 | PDF
- 2015 | 使用因子化多层感知机的联合模型选择和超参数优化 | Nicolas Schilling等 | ICTAI | PDF
- 2015 | 学习超参数优化初始化 | Martin Wistuba等 | DSAA | PDF
- 2015 | 使用深度神经网络的可扩展贝叶斯优化 | Jasper Snoek等 | ACM | PDF
- 2015 | 序列无模型超参数调优 | Martin Wistuba等 | ICDM | PDF
- 2013 | Auto-WEKA：分类算法的组合选择和超参数优化 | PDF
- 2013 | 将模型搜索科学化：视觉架构中数百维度的超参数优化 | J. Bergstra | JMLR | PDF
- 2012 | 机器学习算法的实用贝叶斯优化 | PDF
- 2011 | 通用算法配置的序列模型优化(扩展版) | PDF
进化算法
- 2020 | Delta-STN：使用结构化响应雅可比矩阵的高效神经网络双层优化 | Juhan Bae, Roger Grosse | Neurips | PDF
- 2018 | Autostacker：一种组合式进化学习系统 | Boyuan Chen等 | arXiv | PDF
- 2017 | 图像分类器的大规模进化 | Esteban Real等 | PMLR | PDF
- 2016 | 通过树状管道优化自动化生物医学数据科学 | Randal S. Olson等 | ECAL | PDF
- 2016 | 评估用于自动化数据科学的树状管道优化工具 | Randal S. Olson等 | GECCO | PDF
利普希茨函数
- 2017 | 利普希茨函数的全局优化 | C´edric Malherbe, Nicolas Vayatis | arXiv | PDF
局部搜索
- 2009 | ParamILS：自动算法配置框架 | Frank Hutter等 | JAIR | PDF
元学习
- 2019 | OBOE：用于AutoML模型选择的协同过滤 | Chengrun Yang等 | KDD | PDF
- 2019 | SMARTML：基于元学习的机器学习算法自动选择和超参数调优框架 | PDF
- 2008 | 算法选择元学习的跨学科视角 | PDF
粒子群优化
- 2017 | 深度神经网络超参数选择的粒子群优化 | Pablo Ribalta Lorenzo等 | GECCO | PDF
- 2008 | 支持向量机参数确定和特征选择的粒子群优化 | Shih-Wei Lin等 | 专家系统与应用 | PDF
随机搜索
- 2016 | Hyperband：一种新颖的基于赌博机的超参数优化方法 | Lisha Li等 | arXiv | PDF

2012年 | 超参数优化的随机搜索 | James Bergstra, Yoshua Bengio | JMLR | PDF
2011年 | 超参数优化算法 | James Bergstra等 | NIPS | PDF

迁移学习
- 2016年 | 自动超参数调优的高效迁移学习方法 | Dani Yogatama, Gideon Mann | JMLR | PDF
- 2016年 | 贝叶斯优化的灵活迁移学习框架 | Tinu Theckel Joy等 | PAKDD | PDF
- 2016年 | 超参数优化机器 | Martin Wistuba等 | DSAA | PDF
- 2013年 | 协作超参数调优 | R´emi Bardenet等 | ICML | PDF

其他

2020 | 数据流的自动机器学习技术 | Alexandru-Ionut Imbrea | PDF
2018 | 使用性能预测加速神经架构搜索 | Bowen Baker等 | ICLR | PDF
2017 | 自动弗兰肯斯坦：自主创建复杂集成 | Martin Wistuba等 | SIAM | PDF
2018 | 分类数据集的特征化：元学习的元特征研究 | Rivolli, Adriano等 | arXiv | PDF
2020 | 将人重新纳入AutoML循环 | Xanthopoulos, Iordanis等 | EDBT/ICDT | PDF

教程

贝叶斯优化

2018 | 贝叶斯优化教程 | PDF
2010 | 昂贵代价函数的贝叶斯优化教程，及其在主动用户建模和分层强化学习中的应用 | PDF

元学习

2008 | 元学习 - 教程 | PDF

博客

类型	博客标题	链接
HPO	超参数调优的贝叶斯优化	`链接`
元学习	学会学习	`链接`
元学习	为什么元学习对人工智能的进一步发展至关重要？	`链接`

书籍

出版年份	类型	书名	作者	出版社	链接
2009	元学习	元学习 - 数据挖掘应用	Brazdil, P., Giraud Carrier, C., Soares, C., Vilalta, R.	Springer	`下载`
2019	HPO, 元学习, NAS	AutoML：方法、系统、挑战	Frank Hutter, Lars Kotthoff, Joaquin Vanschoren		`下载`
2021	学习	自动机器学习实战	Qinquan Song, Haifeng Jin, Xia Hu	Manning Publications	`下载`

视频

| 标题 | 作者 | 链接 | | AutoML基础：自动机器学习实战 | Qinquan Song, Haifeng Jin, Xia Hu | (https://www.youtube.com/watch?v=9KpieG0B7VM) |

项目

项目名称	类型	语言	许可证	链接
AdaNet	神经架构搜索	Python	Apache-2.0	`Github`
Advisor	超参数优化	Python	Apache-2.0	`Github`
AMLA	超参数优化, 神经架构搜索	Python	Apache-2.0	`Github`
ATM	超参数优化	Python	MIT	`Github`
Auger	超参数优化	Python	商业版	`主页`
auptimizer	超参数优化, 神经架构搜索	Python (支持R脚本)	GPL-3.0	`Github`
Auto-Keras	神经架构搜索	Python	`许可证`	`Github`
AutoML Vision	神经架构搜索	Python	商业版	`主页`
AutoML Video Intelligence	神经架构搜索	Python	商业版	`主页`
AutoML Natural Language	神经架构搜索	Python	商业版	`主页`
AutoML Translation	神经架构搜索	Python	商业版	`主页`
AutoML Tables	自动特征工程, 超参数优化	Python	商业版	`主页`
AutoPyTorch	超参数优化, 神经架构搜索	Python	Apache-2.0	`Github`
HyperGBM	超参数优化	Python	Python	`Github`
HyperKeras	神经架构搜索	Python	Python	`Github`
Hypernets	超参数优化, 神经架构搜索	Python	Python	`Github`
auto-sklearn	超参数优化	Python	`许可证`	`Github`
auto_ml	超参数优化	Python	MIT	`Github`
BayesianOptimization	超参数优化	Python	MIT	`Github`
BayesOpt	超参数优化	C++	AGPL-3.0	`Github`
comet	超参数优化	Python	商业版	`主页`
DataRobot	超参数优化	Python	商业版	`主页`
DEvol	神经架构搜索	Python	MIT	`Github`
DeepArchitect	神经架构搜索	Python	MIT	`Github`
Determined	超参数优化, 神经架构搜索	Python	Apache-2.0	`Github`
Driverless AI	自动特征工程	Python	商业版	`主页`
FAR-HO	超参数优化	Python	MIT	`Github`
H2O AutoML	超参数优化	Python, R, Java, Scala	Apache-2.0	`Github`
HpBandSter	超参数优化	Python	BSD-3-Clause	`Github`
HyperBand	超参数优化	Python	`许可证`	`Github`
Hyperopt	超参数优化	Python	`许可证`	`Github`
Hyperopt-sklearn	超参数优化	Python	`许可证`	`Github`
Hyperparameter Hunter	超参数优化	Python	MIT	`Github`
Katib	超参数优化	Python	Apache-2.0	`Github`
MateLabs	超参数优化	Python	商业版	`Github`
Milano	超参数优化	Python	Apache-2.0	`Github`
MLJAR	自动特征工程, 超参数优化, 神经架构搜索	Python	MIT	`Github`
mlr3automl	超参数优化	R	LGPL-3.0	`GitHub`
nasbot	神经架构搜索	Python	MIT	`Github`
neptune	超参数优化	Python	商业版	`主页`
NNI	超参数优化, 神经架构搜索	Python	MIT	`Github`
Oboe	超参数优化	Python	BSD-3-Clause	`Github`
Optunity	超参数优化	Python	`许可证`	`Github`
R2.ai	超参数优化		商业版	`主页`
RBFOpt	超参数优化	Python	`许可证`	`Github`
RoBO	超参数优化	Python	BSD-3-Clause	`Github`
Scikit-Optimize	超参数优化	Python	`许可证`	`Github`
SigOpt	超参数优化	Python	商业版	`主页`
SMAC3	超参数优化	Python	`许可证`	`Github`
TPOT	自动特征工程, 超参数优化	Python	LGPL-3.0	`Github`
TransmogrifAI	超参数优化	Scala	BSD-3-Clause	`Github`
Tune	超参数优化	Python	Apache-2.0	`Github`
Xcessiv	超参数优化	Python	Apache-2.0	`Github`
SmartML	超参数优化	R	GPL-3.0	`Github`
MLBox	自动特征工程, 超参数优化	Python	BSD-3 许可证	`Github`
AutoAI Watson	自动特征工程, 超参数优化		商业版	`主页`
AUtoML	自动机器学习	Python	MIT	`Github`
Optuna	超参数优化	Python	MIT	`Github`

幻灯片

类型	幻灯片标题	作者	链接
自动特征工程	预测建模的自动特征工程	Udyan Khurana等人	`下载`
超参数优化	机器学习贝叶斯优化教程	Ryan P. Adams	`下载`
超参数优化	贝叶斯优化	Gilles Louppe	`下载`

致谢

特别感谢所有为这个项目做出贡献的人。

姓名	简介
Alexander Robles	巴西坎皮纳斯大学博士生
derekflint
endymecy	腾讯高级研究员
Eric
Erin LeDell	H2O.ai首席机器学习科学家
fwcore
Gaurav Mittal
Hernan Ceferino Vazquez	博士，MercadoLibre数据科学专家
Kaustubh Damania
Lilian Besson	中央理工大学博士生
罗磊
Marc
Mohamed Maher
Neil Conway	Determined AI首席技术官
Richard Liaw	加州大学伯克利分校博士生
Randy Olson	LifeEGX首席数据科学家
Slava Kurilyak	Produvia创始人兼首席执行官
Saket Maheshwary	人工智能研究员
shaido987
sophia-wright-blue
tengben0905
xuehui	微软
Yihui He	卡内基梅隆大学研究生