基本信息

---

下载

文档摘要

---

2025年注意力机制变体应用习题（含答案与解析）

一、单选题（共15题）

1.以下哪种注意力机制变体在处理长文本时能够有效缓解梯度消失问题？

A.自注意力机制

B.转置自注意力机制

C.多头注意力机制

D.位置编码机制

2.在分布式训练框架中，以下哪种技术可以显著提高模型的训练速度？

A.数据并行

B.模型并行

C.梯度并行

D.批处理技术

3.关于持续预训练策略，以下哪项描述是正确的？

A.持续预训练是针对特定任务的微调

B.持续预训练是在预训练的基础上进行额外的数据集训练

C.持续预训练是在模型部署后进行在线学习

D.以上都不对

4.在对抗性攻击防御中，