注意力算法下的GRU模型分析案例

1.1传统的GRU模型

门控循环单元（GatedRecurrentUnit，GRU）模型是一种特殊的编码器-解码器模型，GRU模型的提出是为了更好地捕捉时间序列中时间步距离较大的依赖关系，它通过可学习的“门”来控制信息的流动。下面介绍GRU模型的设计，它在传统的RNN模型基础上引入了重置门（Resetgate）和更新门（Updategate）的概念，从而修改了循环神经网络中隐藏层状态的计算方式（如图3-1所示）。注意，此处的隐藏层状态包括了编码器与解码器的隐藏层状态。

图3-1GRU结构示意图

GRU模型中的重置门和更新门的输入均为当前时刻的输入向