基本信息

---

下载

文档摘要

---

2025年大模型超长序列滑动窗口注意力习题答案及解析

一、单选题（共15题）

1.以下哪种方法在超长序列处理中能有效减少计算量？

A.局部注意力机制

B.全局注意力机制

C.自注意力机制

D.混合注意力机制

答案：A

解析：局部注意力机制通过关注序列中的局部信息，减少对不相关远距离信息的计算，从而降低计算量，适用于超长序列处理。参考《注意力机制在序列建模中的应用》2025版4.2节。

2.在大模型训练过程中，以下哪种技术可以防止梯度消失？

A.归一化层

B.反向传播

C.激活函数

D.梯度裁剪

答案：D

解析：梯度裁剪通过对梯度进行限制，防止梯度过大导致的梯度消失