基本信息

---

下载

文档摘要

---

2025年大模型参数初始化策略测试题及答案解析

一、单选题（共15题）

1.以下哪种初始化策略有助于防止大模型训练过程中的梯度消失问题？

A.使用小的随机初始化值

B.采用Xavier初始化

C.使用He初始化

D.不进行初始化

答案：B

解析：Xavier初始化（也称为Glorot初始化）通过确保权重初始化后的方差与激活函数的方差成比例，有助于避免梯度消失问题，适用于ReLU激活函数。参考《深度学习实践指南》2025版第五章。

2.在分布式训练框架中，以下哪种策略可以提高大模型参数初始化的效率？

A.集中式初始化

B.分布式初始化

C.随机初始化

D.网络初始化