损失函数

常用的损失函数

模型瘦身;学习目标：;11.1损失函数;11.2常用的损失函数;11.3模型瘦身;以下是一些常用的模型瘦身技术。

（1）网络剪枝（NetworkPruning）。网络剪枝是一种常见的模型瘦身技术，它通过删除一些不重要的神经元或连接来缩减模型的大小。网络剪枝可以分为结构化剪枝和非结构化剪枝两种方法。结构化剪枝是删除整个神经元或层，而非结构化剪枝是删除单个神经元或连接。

（2）量化（quantization）。量化是将浮点数转换为定点数的过程，它可以将32位浮点数转换为8位整数等较小的数据类型。量化可以减少模型中的参数数量和存储空间，并提高模型的运行速度。