基本信息

---

下载

文档摘要

---

2025年大模型注意力头重要性评估试题答案及解析

一、单选题（共15题）

1.以下哪项不是大模型注意力机制中的关键组成部分？

A.注意力权重矩阵

B.全连接层

C.位置编码

D.Softmax函数

答案：C

解析：位置编码是用于捕捉序列中单词顺序的方法，而不是注意力机制的核心组成部分。注意力机制主要通过注意力权重矩阵、全连接层和Softmax函数来计算和分配注意力。

2.在大模型训练中，以下哪种策略有助于提高模型并行效率？

A.数据并行

B.模型并行

C.流水线并行

D.集成学习

答案：B

解析：模型并行允许将模型的不同部分分布在多个计算节点上，从而并行化计算，提