【长文巨献】人工智能教父Hinton十大一战成名的经典文献，你知道吗？

人工智能教父Hinton十大一战成名的经典文献，你知道吗？这篇文章来告诉你～

接此前关于人工智能教父Hinton提出离职Google，并认为人工智能已经威胁到人类的消息《AI大热之下，AI先驱Hinton为何主动放弃？》。那么Hinton凭何被大家称为“人工智能教父”的称号呢？直接看他有哪些著作吧！

我简单查阅了一下Hinton在Google Scholar中的文献数据，数量非常多，引用量更是惊人，在此，我按照文献的引用量得出了如下十大经典文献，基本平均最低每篇超2万的引用量，有些文献在时间上虽然略显陈旧，但非常经典，常读常新，我大概整理了一下，供大家参阅。

文章较长，需要一点耐心，若一时看不完，亦可收藏后阅读～

我罗列了10篇经典文献，供大家参阅：

1. 发表在ACM上的ImageNet Classification with Deep Convolutional Neural Networks(2017)

2. 发表在Nature的综述论文Deep Learning(2015)

3. 发表在J of ML上的Dropout: A Simple Way to Prevent Neural Networks from Overfitting(2014）

4. 发表在J of ML上的Visualizing Data using t-SNE(2008)

5. 发表在Nature上的Learning representations by back-propagating errors(1986)

6. 发表在Parallel Distributed Processing上的Learning Internal Representations by Error Propagation(1986）

7. 发表在Learning Multiple Layers of Features from Tiny Images(2009)

8. 发表在ICML上的Rectified Linear Units Improve Restricted Boltzmann Machines(2010)

9. 发表在Science上的Reducing the Dimensionality of Data with Neural Networks(2006）

10. 发表在Neural computation上的A Fast Learning Algorithm for Deep Belief Nets(2006）

1. 发表在ACM上的ImageNet Classification with Deep Convolutional Neural Networks(2017)

背景:2012年,大规模图像分类精度较低,一般采用浅层神经网络与储存大量手工特征,效果不佳。ImageNet图像分类挑战赛要求分类1000个类别的120万图像,难度较大。

文章解决的问题:提出AlexNet,一种8层的深度卷积神经网络,用于ImageNet图像分类任务。AlexNet自动学习输入的特征映射,无需手工提取特征,获取当时最高的Top-5精度,解决大规模图像分类难易度大及精度不高的问题。

方法:AlexNet包含8层,有5个卷积层和2个全连接层,样例通过sigmoid后输入下一层。使用ReLU作为激活函数,Dropout用于防止过拟合。

模型:AlexNet输入224*224 RGB图像。含有11*11卷积核的96滤波器,步幅4的第一个卷积层。5*5卷积核的256滤波器,步幅1的第二卷积层。3*3卷积核的384滤波器的第三卷积层。3*3卷积核的384滤波器的第四卷积层。3*3卷积核的256滤波器的第五卷积层。后面是3个全连接层。

意义:

1) 提出深度卷积神经网络用于大规模图像分类,取得最高精度,使深度学习和卷积神经网络用于图像分类流行起来。

2) 证明卷积神经网络可以处理大规模数据集并取得最高精度,推动了深度学习与卷积神经网络在产业界的广泛应用。

3) AlexNet只有8层,显示出深层网络具有强大的学习与表达能力,这启发了后续的更深度网络设计,如VGGNet、GoogLeNet等。

4) 使用ReLU和Dropout的AlexNet有效控制了过拟合问题,这两个技术广泛用于后续的深度学习模型。

5) AlexNet获得ImageNet竞赛冠军,产生重要影响,推动了大规模图像分类与对象识别的进展。

该文献开创了深度学习与卷积神经网络在大规模视觉识别与分类领域的广泛应用,对学术界和产业界产生深远影响。它启发并推动了图像分类和目标检测的发展,对机器学习与人工智能产生重大影响,是深度学习发展史上的里程碑,可称为深度学习在计算机视觉领域的开山之作。

2. 发表在Nature的综述论文Deep Learning(2015)

背景:2015年,深度学习技术发展迅速,在语音识别、视觉对象识别、自然语言处理等领域取得重大进展,但是深度学习的原理与机制仍不那么清晰。

文章解决的问题:文章较系统地介绍深度学习的原理、算法、模型与应用,使更广大的研究者与企业可以理解深度学习,并推动深度学习技术的进一步发展与应用。

内容:

1) 深度学习具有深层神经网络与端到端的学习机制。深层结构使其具有强大的学习能力和抽象表达能力。端到端学习避免了手工提取特征等人工操作。

2) 深度卷积神经网络可用于计算机视觉。包含卷积层提取空间特征,池化层降维,全连接层用于分类。已在图像分类等任务上取得最高精度。

3) 循环神经网络和LSTM可用于序列学习,如语音识别、自然语言处理。可学习长序列的依赖性,已产生重要影响。

4) 基于深度学习的语音识别系统大幅降低错误率,取得商业化成功。基于LSTM的神经机器翻译质量大幅提高。

5) 深度学习训练算法主要有反向传播算法等,要充分考虑梯度消失与爆炸等问题。可使用权值衰减、dropout等技术防止过拟合。

6) 深度学习已在图像分类、物体检测、图像分割、图像生成、机器翻译、语音识别等任务上取得重大进展。

7) 未来发展方向是结合无监督学习、强化学习、迁移学习等,解决训练数据不足的问题。提高泛化能力和在线学习能力。应用深度学习解决更复杂的智能任务。

意义:文章较系统地总结并推进了深度学习的发展,使更广大的研究者理解并应用深度学习,推动了深度学习的广泛研究与产业应用,产生重要影响。它概括并推进了深度学习在计算机视觉、自然语言处理和语音识别等领域的进展,在学术上和应用上都具有重要意义,可视为深度学习发展进程中的里程碑。

3. 发表在J of ML上的Dropout: A Simple Way to Prevent Neural Networks from Overfitting(2014）

背景:2014年,神经网络容易过拟合,泛化能力较差。dropout是一种较简单有效的正则化方法,可防止神经网络过拟合。

文章解决的问题:提出dropout方法防止神经网络过拟合,从而提高神经网络的泛化能力。

方法:dropout方法在神经网络训练过程中随机丢弃一定比例的神经元,防止神经元之间的联合适应,加大网络对输入的鲁棒性,从而减小过拟合。在测试时使用所有神经元。

过程:在输入层、隐藏层等全部神经层进行dropout,随机丢弃一定比例(p=0.5)的神经元,使其输出为0。保留其他神经元,并缩放其输出,使总输出与输入层一致。进行反向传播与参数更新。测试过程中使用所有神经元并恢复原输出尺度。

模型:dropout适用于各类神经网络,如多层感知机、卷积神经网络等。可以在输入层、隐藏层等全部神经层进行dropout。

意义:

1) 提出简单有效的dropout方法成功防止神经网络过拟合,广泛用于各种深度学习模型,产生重大影响。

2) 证明随机扰动神经网络可以防止过拟合并提高泛化能力。这一思想启发了许多其他正则化方法。

3) dropout应用于 AlexNet 并获得 ImageNet 比赛冠军,证明其有效性,从而被广泛采用,对深度学习模型产生重要推动作用。

4) 与其他正则化方法比,dropout实现简单,运行效率高,无须调整额外的正则化参数,使用方便。

5) dropout开启了神经网络的正则化研究热潮,有助于神经网络的稳定训练和商用应用,对深度学习产生重要影响。

该论文提出的dropout方法防止神经网络过拟合,使得深度学习模型具有更强的泛化能力,对深度学习理论与应用都具有重要贡献。它开创并推动了深度学习模型的正则化研究,使得深度学习可以更稳定地训练与应用到实践,在推动深度学习发展进程中具有里程碑意义。

4. 发表在J of ML上的Visualizing Data using t-SNE(2008)

背景:高维数据难以可视化,降维方法难以保留数据的局部结构。t-SNE是一种有效的非线性降维方法,可以很好地保留高维数据的局部结构信息。

文章解决的问题:提出t-SNE方法对高维数据进行非线性降维,生成二维或三维空间的数据表示,同时较好地保留数据的局部结构,使得高维数据可以进行直观可视化。

方法:t-SNE建立高维数据空间的概率分布和低维数据空间的概率分布之间的对照关系,最小化两者的KL散度,找到低维数据空间的最优嵌入。它使用高斯核来测量高维数据空间的距离,使用 Student t 分布来测量低维数据空间的距离。

过程:

1) 在高维空间计算数据点之间的概率密度。使用高斯核。

2) 将数据映射到低维空间,初始化低维数据的位置。

3) 计算低维空间中数据点之间的概率密度。使用Student t分布。

4) 最小化高维空间和低维空间概率分布的KL散度。使用梯度下降更新低维空间的数据位置。

5) 重复3-4步,直至收敛。

意义:

1) 提出t-SNE方法对高维数据进行非线性降维,使得高维数据可以进行直观可视化,获得深入理解。

2) t-SNE可以较好地保留高维数据的局部结构,生成低维数据空间的解释性嵌入结果。这为数据可视化与理解提供重要手段。

3) t-SNE适用于各类高维数据集,如图像数据、文本数据等。已在许多应用中产生重要影响,如单细胞数据分析等。

4) t-SNE启发了其他更高效的可视化Embedding方法的提出,如UMAP等。但其本身计算复杂度较高,运行效率较低,适合中等规模数据集。

5) 该方法产生重要影响,使得高维数据可视化和解释性还原成为可能,对数据深入理解和知识发现产生重要推动作用。

该论文提出的t-SNE方法使高维数据可以进行直观解释性的可视化,对数据理解和知识发现产生深远影响。它开启并推动了高维数据可视化与嵌入学习的研究,对数据科学与人工智能产生重要贡献,在学术和应用上都具有里程碑意义。

5. 发表在Nature上的Learning representations by back-propagating errors(1986)

背景:1986年,神经网络由于计算资源限制难以训练深层网络,只能使用浅层结构。但是浅层网络难以实现复杂函数映射,精度难以提高。

文章解决的问题: 提出一种高效的 layer-by-layer 训练算法,即反向传播算法,用于深层神经网络参数优化。这种算法可以解决深层神经网络难以训练的问题,使得训练深层网络成为可能。

方法:反向传播算法。前向计算过程从输入层开始,依次计算隐藏层输出,直到输出层。反向传播过程从输出层开始,依次计算各隐藏层的梯度。两者相结合,完成一次训练迭代。

模型:采用多层前馈神经网络。输入层、隐藏层(可以有多层)和输出层。隐藏层与隐藏层之间全连接。

意义:

1) 首次提出端到端的深度学习方法,即反向传播算法。这使得深度学习成为可能,是现代深度学习发展的基石。

2) 首次采用基于梯度的方法优化神经网络,这种方法广泛用于各种机器学习模型的训练,影响深远。

3) 首次探索深层神经网络的表征学习能力,发现更深层的网络可以学习更抽象的表征,这一观点影响后续许多研究。

4) 产生广泛影响。反向传播算法开启了神经网络研究热潮,催生出各种变种网络结构与训练方法,成为机器学习研究与应用的基础算法之一。

该文献开启了深度学习时代,对人工智能发展产生里程碑式的影响与推动作用。它奠定了深度学习与神经网络的理论基石与学术根基,在学术上具有开创性贡献。

6. 发表在Parallel Distributed Processing上的Learning Internal Representations by Error Propagation(1986）

背景:1985年,神经网络训练难度较大,只能使用浅层网络。但是浅层网络难以解决复杂问题,表达能力有限。

文章解决的问题:提出反向传播算法用于深层前馈神经网络的训练,解决深层神经网络难以训练的问题,使得表示学习成为可能。

方法:反向传播算法。前向过程计算深层网络的输出。反向过程从输出层开始,递归计算各层的损失函数对权重的梯度,并更新权重。

模型:采用三层全连接的前馈神经网络,含输入层、隐藏层和输出层。使用sigmoid作为激活函数。

意义:

1) 首次提出将反向传播算法用于深层神经网络训练。这使得深度学习与端到端学习成为可能,产生重大影响。

2) 探索了深层神经网络的表达学习能力,发现更深层的网络可以学习更抽象的特征表示,这启发了神经网络表达能力的研究。

3) 提出反向传播算法用于参数优化,这种基于梯度的方法后来广泛应用于各类机器学习模型的训练,产生深远影响。

4) 虽然当时受计算资源限制,网络只有三层,但已展示出深层神经网络的学习能力,为后续的深层网络研究奠定了理论基石。

5) 产生广泛影响。该算法启发并推动了神经网络的研究与发展,是现代深度学习发展的基石,可视为现代机器学习发展史上的里程碑。

该论文提出的反向传播算法开始了深度神经网络与端到端学习的时代,对人工智能与机器学习产生深远影响。它推动并启发了神经网络的广泛研究,是现代深度学习与表示学习发展的基石,在学术上具有开拓性的贡献。该算法奠定了神经网络训练与优化的理论基础,对机器学习技术的发展产生重大推动作用。

7. 发表在Learning Multiple Layers of Features from Tiny Images(2009)

背景:2009年,神经网络训练难度较大,一般只使用两层网络。更深层网络很难训练,且没有明显的性能提高,其表达能力未能充分证明。

文章解决的问题:证明深层神经网络可以学习更抽象的特征表示,表达能力更强。提出逐层训练的深度网络模型,解决深层网络难以训练的问题。

方法:采用无监督逐层训练的方法。先训练输入层到隐藏层1,再训练隐藏层1到隐藏层2,以此类推,分阶段训练更深层的网络。采用受限Boltzmann机作为构建模块。

模型:设计6层的深度belief网络,每两层之间使用受限Boltzmann机。输入为图片的像素值,经由6层网络可以学习到高级的视觉特征。

意义:

1) 首次采用逐层训练的方法成功训练出6层的深度belief网络,证明神经网络可以学习层次化的特征表示,表达能力比浅层网络强大得多。这启发了后续的深度网络设计。

2) 采用反向传播可微调网络参数,取得更高的性能。这为后续的深度神经网络训练提供了范例,产生重要影响。

3) 展示了通过深层非监督网络学习得到的特征具有较强的泛化能力,这使得深层网络的表达能力得到证明,推动了其广泛研究。

4) 采用模块化设计的深度belief网络,可以采用贪心逐层训练的方法,这简化了网络的训练过程,对后续深度网络的研究产生启发作用。

5) 证明了神经网络可以进行分层特征学习,高层可以学习抽象的特征表示。这启发了神经网络在视觉理解与知识表示方面的研究,产生重要影响。

该论文采用模块化的深度belief网络,证明了深层网络可以学习更抽象的特征表示,推动了神经网络在机器视觉与知识表示方面的发展。它启发了神经网络的分层表达与学习能力,使神经网络可以应用于更复杂的视觉理解任务,在学术上具有开拓性的贡献。

8. 发表在ICML上的Rectified Linear Units Improve Restricted Boltzmann Machines(2010)

背景:2010年,受限Boltzmann机(RBM)是构建深度belief网络的重要模块,但训练难度较大,效果有限。此外,sigmoid函数作为其激活函数,存在梯度消失问题,导致深层网络训练困难。

文章解决的问题:提出使用ReLU作为RBM的激活函数,来代替sigmoid函数。解决RBM训练难度大和深层网络梯度消失问题,提高其表达能力。

方法:将RBM中的sigmoid激活函数替换为ReLU激活函数,其函数表达式为f(x)=max(0,x)。采用贪心逐层训练的方法训练深度belief网络。

模型:采用包含2个隐藏层的深度belief网络,隐藏层之间使用RBM连接,并采用ReLU作为激活函数。

意义:

1) 首次在神经网络中采用ReLU激活函数,解决了sigmoid函数带来的梯度消失问题,这使得更深层网络的训练成为可能,产生重大影响。

2) ReLU的引入简化了模型,提高了训练效率和泛化能力。这使得神经网络的更广泛应用成为可能,产生重要意义。

3) ReLU的使用提高了RBM的训练效果和泛化能力,这使得RBM可以更好地用于构建深度belief网络,推动了深度网络的发展。

4) 深度belief网络的成功应用,以及后续的深度卷积神经网络使得深度学习开始广泛研究和应用,从而产生深远影响。这得益于ReLU的使用。

5) ReLU的提出简化了神经网络,这一思想启发了其他激活函数的提出,如LeakyReLU、PReLU等,推动了神经网络的发展。

该论文提出的ReLU激活函数解决了深层神经网络训练中的梯度消失问题,使得更深层网络的训练成为可能。这一发现对深度学习理论和应用产生重大影响,推动并启发了神经网络结构与训练方法的广泛研究,在神经网络发展史上具有里程碑意义。

9. 发表在Science上的Reducing the Dimensionality of Data with Neural Networks(2006）

背景:2006年,神经网络难以处理高维数据,而高维数据难以理解与可视化。降维是解决此问题的重要手段,但一般方法难以学习高维数据的复杂结构。

文章解决的问题:提出使用自动编码器进行非线性降维,采用神经网络学习高维数据的结构特征并压缩其维度。

方法:采用三层自动编码器,含输入层、隐藏层和输出层。训练自动编码器使输出与输入一致,隐藏层学得高维数据的结构特征,其维度 compressed 表示高维数据的压缩表达。

模型:输入为高维数据,如图像的像素值。隐藏层的大小小于输入与输出,如输入为1000维,隐藏层为30维,起到降维作用。

意义:

1) 首次提出使用自动编码器进行非线性降维,这为高维数据的分析与理解提供了重要手段,产生广泛影响。

2) 采用神经网络进行降维,可以学习高维数据的结构与特征,得到其compressed表达,这比一般降维方法更符合数据分布,保留更丰富的信息。

3) compressed表达使高维数据可视化与理解成为可能,并可用于other任务,如聚类分析等。这推动了数据科学的发展。

4) 展示神经网络可以用于无监督的特征学习与知识发现,这启发了其在表达学习与知识表示方面的研究。

5) 该思想启发了其他自动编码器模型与训练方法,如变分自动编码器、递归自动编码器等,从而产生持续影响。

该论文提出采用自动编码器进行神经网络降维,这为高维数据分析提供了重要工具,产生深远影响。它使得高维数据压缩表达与理解成为可能,对数据科学与人工智能具有重要意义。自动编码器的提出开创了神经网络进行无监督特征学习与知识发现的先河,这推动并启发了其在表达学习与知识表示方面的研究,对神经网络的发展产生重要推动作用。

10. 发表在Neural computation上的A Fast Learning Algorithm for Deep Belief Nets(2006）