基本信息

---

下载

文档摘要

---

2025年模型并行通信开销分析习题（含答案与解析）

一、单选题（共15题）

1.在模型并行策略中，以下哪种通信模式在多GPU训练时能够显著降低通信开销？

A.数据一致性通信

B.数据流水线通信

C.数据分片通信

D.数据复制通信

2.以下哪个选项不属于模型并行中的通信开销类型？

A.网络传输延迟

B.数据压缩开销

C.内存访问延迟

D.预处理时间

3.在模型并行中，使用哪些技术可以减少模型参数的传输量？

A.参数压缩

B.参数重用

C.参数剪枝

D.以上都是

4.模型并行中的数据一致性通信通常发生在哪个阶段？

A.模型初始化

B.模型前向传播

C.模型