基本信息

---

下载

文档摘要

---

2025年大模型注意力权重分析习题（含答案与解析）

一、单选题（共15题）

1.在大模型训练过程中，以下哪项技术可以有效解决梯度消失问题？

A.使用LSTM网络

B.使用ReLU激活函数

C.使用梯度累积技术

D.使用Adam优化器

2.以下哪种方法可以用于在预训练模型中引入外部知识？

A.知识蒸馏

B.迁移学习

C.持续预训练

D.数据增强

3.在模型并行策略中，以下哪种方法适用于内存受限的情况？

A.数据并行

B.模型并行

C.流水线并行

D.粒度并行

4.在注意力机制变体中，以下哪种方法能够有效提高模型的上下文感知能力？

A.Self-Atte