基本信息

---

下载

文档摘要

---

2025年大模型分布式训练通信优化（含答案与解析）

一、单选题（共15题）

1.在分布式训练框架中，以下哪种通信协议能够显著降低通信开销并提高训练效率？

A.NCCL(NVIDIACollectiveCommunicationsLibrary)

B.MPI(MessagePassingInterface)

C.RPC(RemoteProcedureCall)

D.P2P(Peer-to-Peer)

答案：A

解析：NCCL是专门为NVIDIAGPU设计的通信库，它通过优化GPU间的通信路径和算法，能够显著降低通信开销并提高分布式训练的效率，参考《深度学习