基本信息

---

下载

文档摘要

---

2025年大模型分布式训练负载均衡（含答案与解析）

一、单选题（共15题）

1.在大模型分布式训练中，以下哪种负载均衡策略能够有效提高训练效率？

A.轮询负载均衡

B.最少连接负载均衡

C.响应时间负载均衡

D.IP哈希负载均衡

2.以下哪种分布式训练框架支持自动负载均衡和任务调度？

A.TensorFlow

B.PyTorch

C.Horovod

D.Keras

3.以下哪种方法可以有效地降低分布式训练中的通信开销？

A.数据并行

B.模型并行

C.混合并行

D.算子并行

4.在分布式训练中，以下哪种机制可以防止模型梯度泄露？

A.梯度累积

B.梯度裁