电子说
深度学习的发展促进了相关应用的涌现。但是,深度学习模型往往具有非常大的参数搜索空间,为了保证模型的效果,经常需要机器学习专家耗费大量的时间构建深度学习模型。
为了降低深度学习模型的设计成本和难度、提高模型构建效率,学界提出了一个新的概念: Automated Machine Learning(AutoML)。目前 AutoML 这一概念并无统一定义,主要理念是:通过使用 AutoML 方法,用户只需向模型输入数据,之后模型会自动完成架构选择和参数训练。
2018年初, Google 发布的深度学习模型自动构建工具—— Cloud AutoML ,引发了针对 AutoML 更为广泛的讨论。本文中,营长将为大家推荐 GitHub 上一项针对 AutoML 的资源整理项目。项目作者对 AutoML 和传统深度学习的特点进行了对比,并提供了关于 AutoML 的完整资源列表,包括论文、教程、教材、模型及项目、 PPT 等。
地址:
https://github.com/hibayesian/awesome-automl-papers
整体介绍
在传统深度学习的模型构建中,主要包含以下步骤:数据处理、特征工程、模型架构选择、超参数优化、模型后处理、结果分析。这些步骤往往会耗费大量人力和时间。在 AutoML 中,则可以对大部分步骤进行自动处理。在该项目中,作者对相关的 AutoML 类别进行了总结,包括:
自动数据清洗(Automated Data Clean, Auto Clean)
自动特征工程(Automated Feature Enginnering, Auto FE)
超参数优化(Hyperparameter Optimization, HPO)
元学习(Meta-Learning)
神经网络架构搜索(Neural Architecture Search, NAS)
此外,细心的项目作者还提供了一个详细的结构图,以及部分现有模型的实现情况分析表。有兴趣的读者可以找到该项目地址以查看更多详细内容。
论文
在这一部分,该项目针对于上述几个 AutoML 类别提供了涉及 AutoML 的完整论文列表。
自动特征工程
模型架构搜索
超参数优化
混合模型
教程
这一部分,作者提供了关于贝叶斯优化和元学习的两个教程,内容如下:
博客
书籍
项目
这一部分提供了一些相关模型和项目的官网或开源代码链接:
PPT
最后是三个相关的 PPT 资源:
以上就是此次分享内容,希望对大家有所帮助!
全部0条评论
快来发表一下你的评论吧 !