机器学习

MachineLearning

;一个RNN网络的基本结构;1.1基本表示和展开图;形成计算序列，有记忆系统;展开计算图;一个典型结构（隐藏层反馈）RNN的计算结构;1.2RNN网络的基本计算关系

（以tanh激活函数、输出多分类为例）;RNN的损失函数;1.3RNN的BP算法

通过时间的反向传播

(Back-PropagationThroughTime:BPTT;对隐藏层h，从时间开始反向传播，故;对于各参数的梯度分别为;1.4其他结构RNN例

从输出反馈的RNN，表达能力不及从隐藏层反馈

一般比从隐藏层反馈易于训练;双向RNN;深度RNN;1.5RNN中