基本信息

---

下载

文档摘要

---

2025年大模型梯度累积训练优化习题答案及解析

一、单选题（共15题）

1.在大模型梯度累积训练中，以下哪项技术可以显著提高训练效率，减少内存消耗？

A.梯度累积技术

B.参数高效微调（LoRA/QLoRA）

C.持续预训练策略

D.对抗性攻击防御

答案：A

解析：梯度累积技术通过将多个小批量梯度累积到一个较大的梯度中，减少了内存消耗，同时保持了训练效率。参考《大模型梯度累积训练优化指南》2025版4.2节。

2.以下哪种方法适用于解决大模型训练过程中的梯度消失问题？

A.数据增强

B.模型并行策略

C.结构剪枝

D.稀疏激活网络设计

答案：D

解析：稀疏激活网络