自动机器学习的机遇与挑战.pdfVIP

自动机器学习的机遇与挑战

导语

人工智能技术已经给社会带来巨大应用价值。然而，当

前的人工智能算法泛化性问题逐渐突出，在固定场景、固定

数据集上训练出的机器学习模型，并不能解决现实生活中日

新月异的新数据、新场景、新问题。由此，自动机器学习应

运而生，让计算机自动适配变化的任务场景。相比于传统的

通过领域专家的先验知识和手工调试来设计模型的方式，自

动机器学习能够大大减少实际研究和应用过程中对模型设

计的人力物力资源消耗。并且，由计算机自动学习出的模型

超参数和实际人物之间的关联，往往要好于人类自主归纳的

结果。由机器自动发现的最佳模型，已经在各个领域逐渐赶

上并超过了手工设计的模型，并被各大公司广泛应用于现实

场景的模型部署中。

01自动机器学习的发展概况

人工智能技术在二十一世纪取得了重大技术突破，巨大

的算力和海量的数据让深度学习如虎添翼。目前，人工智能

已经在包括图像处理、自然语言理解、社交网络建模、游戏

对抗等社会的各个方面创造了巨大的应用价值。然而，当前

的机器学习算法往往包含众多超参数来控制学习过程和推

理过程中的精细实现，算法的性能对超参数十分敏感，这对

机器学习更进一步的发展和落地造成了巨大阻碍。在深度学

习蓬勃发展的今天，机器学习所需要确定的超参数变得越来

越多，人工智能工程师们需要选择正确的神经网络架构、优

化方法、正则化方法和他们对应的超参数，才能让所设计的

人工智能算法发挥更好的效果。而这一过程即使对于领域内

人工智能专家来说，也将是复杂繁琐的。只有经过多次实验、

勤于归纳和总结，才能得到一个相对来说较为优秀的人工智

能系统。

自动机器学习的诞生便是为了解决这一巨大挑战，旨在

让计算机仅仅根据目标任务和数据集来自动化设计最合适

的人工智能算法和它内部的所有超参。这是一种完全由数据

驱动的、客观的、自动化的机器学习分支。有了自动机器学

习系统，工程师或者用户只需要提供数据，就能够由该系统

自动化地得到对目标应用的算法最佳实践。一方面，自动机

器学习的出现极大降低了人工智能领域的应用门槛。即使是

没有背景的使用者，也能够利用先进的机器学习方法完成他

们的目的，而不用了解内部的细节。而另一方面，机器学习

算法设计的效率和效果也得到了进一步的提升，而且由于所

有工作均由计算机负责，应用成本也会大大下降。事实上，

自动机器学习领域的发展已经初有成效，甚至在某些情况能

够超过人类手工设计和调试的结果。各大公司如Google、微

软等，也搭建了自己的自动机器学习系统，来帮助他们节省

应用成本、提高应用效率、扩大应用覆盖面。

图1自动机器学习的构成要件

自动机器学习可以和传统机器学习的任意过程结合，催

生出了包括自动特征工程、神经网络架构搜索、超参数优化、

损失函数搜索、优化器搜索、自动模型整合等一系列的子领

域，而这些领域都在被学界广泛地研究。如图1所示，按照

构成要件来分解，自动机器学习可以分为搜索空间、搜索策

略和样本评估策略，后两策略组合在一起组成了搜索算法的

概念。搜索空间定义了自动化算法所能探索的边界，搜索策

略负责指出空间中哪部分有重要探索价值、最有可能包含最

优的自动机器学习算法，而样本评估策略则是根据搜索策略

指出的范围，验证它们的真实性能，为搜索策略的下一步探

索提供信息。

虽然自动机器学习为人工智能描绘出了一个美好而又

宏大的愿景，但它在技术上面临着巨大挑战。首先，自动化

算法的表达能力还有待提高，由于算法和资源的限制，目前

对于搜索空间的设计仍拘束于一些简单的架构，对于一些机

器学习领域的关键技术（如注意力机制）仍然保留最初的设

计模式。其次，自动化算法的可靠性问题亟待解决，为了提

高自动机器学习的效率，许多算法的样本评估策略使用一些

轻量级、快速的代理指标，来代替耗时的真实指标，但这种

代理指标并不能够很好地反映真实指标的性能。再次，自动

化算法的泛化能力也存在不足，许多算法仅仅是为了某一应

用领域而专门设计，对于其他领域需要重新设计自动化算

法。本文主要着眼于这三个挑战，来进一步提高自动机器学

习的应用价值。

02表达能力

在深度神经网络的设计中，自注意机制已变得越来越流

行，来达到更好的性能。由于能够帮助深层模型有选择地关

注有用的信息，自注意机制已经被证明是非常有效的设计，

并被广泛应用于各种研究方向。

图2(a)手工设计自注意力机制