基本信息

---

下载

文档摘要

---

大模型训的技术挑战与解决方案及答案及解析

一、单选题（共15题）

1.以下哪项不是分布式训练框架中常用的通信协议？

A.NCCL

B.MPI

C.RPC

D.HTTP

2.在参数高效微调（LoRA/QLoRA）中，哪种方法可以减少参数量，同时保持模型性能？

A.使用预训练模型作为骨干网络

B.应用LoRA进行参数压缩

C.使用注意力机制进行特征选择

D.通过知识蒸馏转移知识

3.以下哪种策略可以有效减少持续预训练策略中的计算成本？

A.使用低质量数据集进行预训练

B.采用较少的预训练epoch数

C.对预训练模型进行结构剪枝

D.使用稀疏激活网络设计

4