1.1 深度学习革命

为了欣赏这种深度学习方法带来的范式转变，让我们退一步来回顾一下。直到最近十年，属于机器学习标签的更广泛的系统严重依赖于特征工程。特征是对输入数据的转换，这些转换有助于下游算法（例如分类器）对新数据产生正确的结果。特征工程包括提出正确的转换，以便下游算法可以解决任务。例如，为了区分手写数字图像中的零，我们将提出一组过滤器来估计图像上边缘的方向，然后训练一个分类器来预测给定边缘方向分布的正确数字。另一个有用的功能可能是封闭的孔的数量，如0，8，尤其是环状的2。

另一方面，深度学习处理从原始数据自动找到这样的表示形式，以便成功执行任务。在“一对零”示例中，分类器在训练期间通过迭代查看成对的示例和目标标签不断优化。这并不是说特征工程在深度学习中没有地位。我们经常需要在学习系统中注入某种形式的先验知识。但是，这种能够根据示例提取数据并提取有用表示的能力使深度学习变得非常强大。深度学习从业人员的重点不是手工制作这些表示，而是在数学实体上操作，以便它可以从训练数据中自动发现表示形式。通常，这些自动创建的功能比手工制作的功能要好！与许多破坏性技术一样，这一事实导致了观点的改变。

在图1.1的左侧，我们看到一个从业者正在忙于定义工程特征并将其提供给学习算法。任务的结果将与从业工程师的功能一样好。在右侧，通过深度学习，原始数据被馈送到一种算法，该算法在优化其自身在任务上的性能的指导下自动提取分层特征；结果将与实践者将算法推向目标的能力一样好。

图1.1 深度学习交换了手工功能的需求，以增加数据和计算需求

从图1.1的右侧开始，我们已经瞥见了执行成功的深度学习所需的条件：

1、我们需要一种方法来提取我们手头上的任何数据。

2、我们需要以某种方式定义深度学习机器。

3、我们必须有一种自动化的方法，进行训练，以获得有用的表示，并使机器产生所需的输出。

这使我们可以仔细研究一下我们一直在谈论的训练内容。在训练过程中，我们使用一个标准——参考数据的实值函数来为模型的期望输出与实际输出之间的差异提供数值分数（按照惯例，分数越低越好）。训练包括通过逐步修改我们的深度学习机器推动标准朝着更低和更低的分数发展直至达到低分数（收敛），即使对训练期间未看到的数据也是如此。