2025年大模型超长序列滑动窗口注意力优化专题习题答案及解析

一、单选题（共15题）

1.在大模型超长序列处理中，以下哪种注意力机制能够有效减少计算复杂度？

A.全局注意力B.自注意力C.点注意力D.分块注意力

答案：D

解析：分块注意力通过将序列分割成多个块，在每个块内部进行自注意力计算，从而减少全局自注意力计算中的复杂度，提高处理效率。参考《注意力机制优化技术指南》2025版4.2节。

2.以下哪种方法可以有效地解决大模型训练过程中的梯度消失问题？

A.使用ReLU激活函数B.增加模型层数C.使用梯度裁剪D.使用LSTM单元

答案：C

解析：梯度裁剪