解读百度AutoDL 打破SOTA纪录的神经架构搜索是如
发布时间：2021-11-20 13:39:29 所属栏目：优化 来源：互联网
导读：近日，百度大数据实验室在 arXiv 上发布了两篇论文，一篇给出了任何深度学习网络在小学习率情况下的收敛性证明，包括用 AutoDL 搜出来的网络，另一篇则提供了一个正则化的方法，让 AutoDL 搜索到的网络的训练结果超过了之前所有公开报道的结果。基于 Paddle
|
近日，百度大数据实验室在 arXiv 上发布了两篇论文，一篇给出了任何深度学习网络在小学习率情况下的收敛性证明，包括用 AutoDL 搜出来的网络，另一篇则提供了一个正则化的方法，让 AutoDL 搜索到的网络的训练结果超过了之前所有公开报道的结果。基于 PaddlePaddle 框架实现的代码已经开源，相应功能也可以通过百度 EasyDL 免费使用，这是继去年 11 月 AutoDL 2.0 于 2018 百度世界大会上正式发布以来，AutoDL 的又一次重要更新。 机器之心就 AutoDL 各方向的设计思路和论文内容采访了百度大数据实验室主任浣军教授，以下为采访实录。 机器之心：百度开发 AutoDL 的初衷是什么？想要实现什么目标？ AutoDL 的理念，用一句话来概括，就是「开放普惠 AI」，让广大中小企业、初创企业和个人能够更方便地应用大数据和深度学习。 现在，这些能力主要掌握在大公司研发中心或者高校中间，并未向中小企业和初创企业辐射，原因在于大数据分析和深度学习对硬件、软件以及工程技术人员的能力要求都比较高。 AutoDL 所做的事情，就是用深度学习来设计深度学习，从而实现让大家都能够快速用到这项能力。我们的愿景是把如今的「深度学习模型艺术品」变成「深度学习模型工业产品」，让深度学习的模型能够像工厂的产品一样被大规模地生产出来。 机器之心：这一目标具体由哪些需求组成？如何满足这些需求？ 我们从三个维度思考这件事。硬件、应用场景和模态的多样化决让 AI 算法的维度空间极为庞大。想要尽可能探索这一空间，就必然要从手工设计模型，转向自动化生产模型，快速高效地产生能够适配不同硬件、支持不同场景、适应不同模态的深度学习模型。 为了实现这些需求，我们将 AutoDL 分成三个部分，分别是 AutoDL Design，AutoDL Transfer 和 AutoDL Edge。 AutoDL Design 根据用户提供的数据集从头设计全新深度学习模型。 AutoDL Transfer 支持小数据建模，利用百度拥有的大量数据预训练好的模型迁移到用户具体的应用场景上。 AutoDL Edge 将深度学习模型部署到拥有不同算力、内存资源的硬件上，满足不同的能源消耗、响应时间需求。是 AI 和 IoT 的结合，是深度学习和边缘计算的完美结合。 AutoDL Design：更大的模型结构搜索空间带来更佳的效果 机器之心：从用户给出标注数据集到拿到自动设计好的模型结构，是一个什么样的过程？ 现在 AutoDL Design 有多条技术路线，但总的来说仍然是一个端到端的训练过程。百度在模型结构优化方面选择了两条主要技术路线。 第一条技术路线利用深度增强学习完成设计。系统由两部分组成，第一部分是网络结构的编码器，第二部分是网络结构的评测器。 编码器通常以 RNN 的方式把网络结构进行编码，然后评测器把编码的结果拿去进行训练和评测，拿到包括准确率、模型大小在内的一些指标，反馈给编码器，编码器进行修改，再次编码，如此迭代。经过若干次迭代以后，最终得到一个设计好的模型。 为了性能考虑，迭代中用到的训练数据通常是几万张规模的数据集（比如 CIFAR-10），模型设计结束后，会用大规模数据（比如 ImageNet）重新训练一次，进一步优化参数。 第二条技术路线是将结构图构建为可微的结构。即，连接节点的边不再是非 0 即 1 的状态，而是变成一个可求微分的概率。 除此之外，我们还进行了超参数优化，正则化训练等其他一系列优化，最终，我们在 CIFAR-10 上取得了正确率 98% 以上，这个结果优于所有有公开报道的设计网络效果，包括人类专家设计的和机器自动设计的。 机器之心：能否更详细地解释基于深度增强学习的技术路径里编码器与评测器的工作？迭代过程中计算资源消耗情况？ 编码器的可以从一个随机的模型开始，也可以从一种已知的模型出发。从性能角度考虑，通常我们会选择从一个较优的模型结构出发。 （编辑：莆田站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
