PAGE40

结合自注意力的BERT文本情感分析实验探究案例

1.1BERT

1.1.1Transformer

Transformer模型是在Vaswani等针对NPL领域的机器翻译任务时首次提出,该模型基于注意力机制，模型结构是Encoder-Decoder。Transformer模型为连续操作中面临的长期问题提供了实质性的解决方案，在NLP研究领域打破了令人惊叹的速度。自2017年诞生以来，它已经在一些NLP应用中产生了许多SOTA结果，特别是由于其成分。Transformer模型的体系结构如图2.1所示。

图1.1Transformer模型

该模型由编码器和解码器块组成