计算机行业GPT专题研究
1
目录
1、深度学习是基于神经网络的机器学习 2
1.1、关系梳理：人工智能机器学习深度学习 3
1.2、从生物神经网络到人工神经网络 3
1.3、深度学习与神经网络发展历史(1943-2017) 5
2、前馈神经网络：最早发明的简单人工神经网络 6
2.1、反向传播算法：神经网络参数学习的重要算法 8
2.2、动梯度计算：变手动计算为自动计算 9
3、CNN:卷积+汇聚+全连接 10
4、RNN:具有短期记忆的神经网络 16
5、GAN:生成器和判别器的对抗与学习 19
5.1、深度强化学习：深度学习与强化学习的结合 20
5.2、深度学习框架：深度学习的工具库 2
6、风险提示 25
2
1、深度学习是基于神经网络的机器学习
深度学习可以概括为特征的抽象和结果的预测。深度学习是将原始的数据特征通过多步的特征转换得到一种更高层次、更抽象的特征表示，并进一步输入到预测函数得到最终结果。深度学习需要解决的关键问题是贡献度分配问题(CreditAssignmentProblem,CAP),即一个系统中不同的组件(component)或其参数对最终系统输出结果的贡献或影响。深度学习的目标是让模型自动学习出好的特征表示，从而最终提升预测模型的准确率。深度学习采用的模型主要是神经网络模型。主要原因是神经网络模型可以使用误差反向传播算法 (Backpropagation),能够比较好地解决贡献度分配问题。只要是超过一层的神经网络都会存在贡献度分配问题，因此可以将超过一层
的神经网络都看作深度学习模型。
图表1:深度学习的数据处理流程
结果E高层特征预测原始数据底层特征
结果
E
高层特征预测
表示学习
深度学习
资料来源：《神经网络与深度学习》(邱锡鹏),ISBN:9787111649687、华泰研究
深度学习逐渐超过表示学习范畴，用于处理更加复杂的推理、决策等问题。表示学习(RepresentationLearning)可以自动地学习出有效的特征(即表示),并提高最终机器学习模型的性能。早期，深度学习主要用来进行表示学习，但目前更多地用来处理更加复杂的推理、决策等问题。概括来说，深度学习是将“表示学习+预测模型的学习”
3
进行端到端的学习，中间不需要人工干预。其中，端到端学习 (End-to-EndLearning),也称端到端训练，是指在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标。
1.1、关系梳理：人工智能机器学习深度学习
人工智能包括机器学习，机器学习包含深度学习。人工智能(Al)的重要组成部分是机器学习(ML),而神经网络(NN)是ML的一个子领域。深度学习可以看做是神经网络的分支，使用了更复杂和更深层次的网络结构，如卷积神经网络(CNN),来处理更高维度和更抽象的数据，如图像、声音和文本。此外，逐渐兴起的强化学习也是机器学习的一个分支。深度学习与强化学习可以相互结合，称为深度强化学习(DRL)。
图表2:人工智能、机器学习、深度学习关系梳理
人工智能
机器学习
神经网络
深度学习
深度强化学习
强化学习
资料来源：《TheHistoryBeganfromAlexNet:AComprehensiveSurveyonDeepLearningApproaches》,Zahangir(2018)、《DeepReinforcementLearning》,YuxiLi(2017)、华泰研究
1.2、从生物神经网络到人工神经网络
神经网络是一种模仿生物神经系统的人工智能算法。通常，机器学习中的神经网络指的是人工神经网络，人工神经网络是为模拟人脑神经网络而设计的一种计算模型，它从结构、实现机理和功能上模拟
4
人脑神经网络。人工神经网络与生物神经元类似，由多个节点(人工神经元)互相连接而成，可以用来对数据之间的复杂关系进行建模。不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小。在对神经网络进行训练时，不断优化神经元之间的权重，使得输出的结果逐渐接近预期的结果，最终确认整个网络的参数，并用于执行下游任务。
图表3:生物神经元与人工“