基本信息

---

下载

文档摘要

---

注意力算法类别概述

本节将讨论注意力的分类问题。我们将注意力算法按照计算注意力函数的输入序列位置进行分类，可分为以下三类，它们分别是：全局注意力（globalattention）算法、硬性注意力（hardattention）算法和局部注意力（localattention）算法。

1.1全局注意力算法

全局注意力算法需要依附于模型来进行理解。在其核心思想上，全局注意力算法就是软性注意力算法。此节我们重点关注的是注意力函数的计算。软性注意力（softattention）算法是指在选择信息的时候，先计算输入序列的加权平均，再输入到网络中计算。现设输入序列，其中单个输入向量，并给定查询向量