基本信息

---

下载

文档摘要

---

长短记忆神经网络概述

1.1LSTM的基本结构

长短期记忆网络LSTM是循环神经网络的一个变体，其目的是为了防止在模型建立的过程中依赖性记忆下降情况的出现。LSTM在传统的循环神经网络的基础上，添加了输入门、输出门和遗忘门部分，防止传统循环神经网络模型中的梯度消失或者爆炸的情况的出现。并且，在LSTM网络中还添加了一个信息的存储器，即在网络的隐藏层中添加了一个单元状态c(t)。首先，定义输入门的函数为Sigmoid函数，可以决定哪一个值是需要被更新的，然后，在c(t)中加入tanh层，使其转变成一个新的候选向量

模型中出现的梯度消失状况大多是与非线性激活函数有关的，逆向传播时，用到的非线性激