PAGE

PAGE1

Transformer模型的相关概述

Transformer模型的总体框架是一种编码器-解码器体系结构。编码器部分主要是基于自注意力机制的信息提取，而解码器部分则是基于编码器部分提取出的信息来生成我们所需要的序列。编码器由多层编码层组成，这些编码层一层又一层地迭代处理输入，解码器由多层对编码器的输出执行相同操作的解码层组成。

每个编码器层的功能是处理其输入以生成编码特征，其中包含有关输入的哪些部分彼此相关的信息。它将其编码特征集作为输入传递到下一个编码器层。每个解码器层执行相反的操作，使用所有合并的上下文信息进行处理，以生成输出序列。为此，每个编码器和解