改进型Transformer在文本分类任务中的应用研

究

目录

1.文档概述 3

1.1研究背景与意义 3

1.2国内外研究现状 6

1.3研究内容与目标 7

1.4研究方法与技术路线 7

1.5论文结构安排 10

2.相关理论与技术基础 12

2.1自然语言处理概述 15

2.2Transformer模型架构 16

2.2.1自注意力机制 22

2.2.2多头注意力机制 24

2.2.3前馈神经网络 26

2.2.4位置