基本信息

---

下载

文档摘要

---

摘要

摘要

近年来，深度学习得到了飞速的发展，这也成功地促进了计算机视觉领域的进

步。然而，随着深度神经网络模型被设计的深而复杂，产生高计算和存储成本，这

样的成本使这些高性能的大规模模型很难应用在计算资源有限的设备上。针对目

前离线知识蒸馏通常因教师与学生之间规模差距过大，知识难以有效传递，导致学

生性能不佳的问题；以及在线知识蒸馏的一阶段过程没有强大教师模型的强力指

导下进行训练，且中间特征与末端特征利用不足的局限性。因此