基本信息

---

下载

文档摘要

---

摘要

随着物联网的兴起，在边缘设备上使用卷积神经网络来处理图像任务已变得十分普

遍，例如智能安防设备和智能车载仪在现实中的广泛应用。但为了获得更好的性能，神

经网络的规模和复杂性也随之增加，对于资源有限的嵌入式设备来说并不理想。为了应

对这一挑战，知识蒸馏作为一种有效的模型压缩方法被广泛应用于深度学习领域。它的

目标是将一个复杂模型的知识转移到一个简化模型中，以提高模型的性能和泛化能力。

自蒸馏（Self-Distillation）则是不需要教师模型，模型在训练时使用自身的知识来指导自

己的训练。