2025年大模型推理延迟瓶颈根因热力图自动生成考题答案及解析

一、单选题（共15题）

1.以下哪项技术用于减少大模型推理延迟，而不显著降低模型性能？

A.INT8量化

B.模型剪枝

C.知识蒸馏

D.模型并行

答案：C

解析：知识蒸馏技术通过将大型模型的知识迁移到一个小型模型中，可以显著减少推理延迟，同时保持较高的性能。参考《知识蒸馏技术白皮书》2025版5.2节。

2.在生成热力图自动考题答案及解析时，以下哪种方法能有效提高推理速度？

A.使用GPU加速

B.优化模型结构

C.数据预取

D.批处理技术

答案：B

解析：优化模型结构，如使用轻量级网络架构，可以显著