基本信息

---

下载

文档摘要

---

2025年大模型注意力头重要性评估习题答案及解析

一、单选题（共15题）

1.以下哪个指标通常用于评估注意力机制在模型中的重要性？

A.梯度大小

B.互信息

C.参数量

D.训练时间

2.在大模型中，以下哪项技术可以减少注意力头数量，从而提高模型效率？

A.知识蒸馏

B.参数高效微调（LoRA/QLoRA）

C.结构剪枝

D.神经架构搜索（NAS）

3.以下哪项技术可以加速大模型的训练速度？

A.分布式训练框架

B.持续预训练策略

C.模型并行策略

D.低精度推理

4.在注意力机制中，以下哪种技术可以增强模型对重要信息的关注？

A.自注意力

B.交