任务三使用数据增强抑制卷积神经网络过拟合3.1过拟合与数据增强

任务导入任务目标任务导学任务知识点工作任务

1.任务导入任务导入使用CNN网络训练的模型在训练集上效果很好，但是在测试集上效果较差，例如任务2的猫狗识别，训练集和测试的准确率相差了20%左右，这是模型出现了过拟合现象，也被称之为“泛化能力差”，引起过拟合的原因有很多，最常见就是样本不足，或者训练集的样本不具备代表性。常用数据集扩充、随机失活方法(Dropout)、早停法等来解决模型遇到的过拟合问题，其中使用图像增强器增加数据集是解决过模型过拟合的首选

2.任务目标知识目标了解过拟合和泛化能力的基本概念理解数据增强的原理和方法了解其他防止过拟合的方法掌握评价模型性能的方法能力目标能应用数据增强技术扩展训练数据能进行实时数据增强能调整和优化模型以减少过拟合能完成模型的训练与评估能识别并解决过拟合问题拓展能力能进行实验比较不同防止过拟合的方法能应用模型解释性工具拓展能力知识任务目标

3.任务导学通过对训练数据进行扩充和增强，以提高模型的泛化能力和鲁棒性数据增强技术通过对原始数据进行一系列的变换操作，生成新的样本模型能够更好地适应不同的输入，提升在未见数据上的表现什么是图像增强定义操作用途训练翻转和旋转、缩放和裁剪、平移、颜色变换、仿射变换、噪声添加

4.任务知识模型的欠拟合机器学习和深度学习的训练过程中，经常会出现过拟合和欠拟合的现象。欠拟合是指模型在训练集上的性能不佳，通常表现为模型复杂度不够，无法捕捉数据的基本模式或关系。欠拟合可能发生在训练初期，随着训练的进行，模型通常会逐渐改善其在训练集上的表现。解决欠拟合的方法包括增加模型复杂度、改进特征提取方式或者增加训练时间等。

4.任务知识模型过拟合过拟合是指在训练数据上表现很好，但在未见过的测试数据上表现较差的现象。这通常是因为模型过于复杂，学习了训练数据中的噪声和细节，而不是数据的潜在分布。深度学习中由于模型复杂的结构和大量的参数，尤其容易发生过拟合。如图中的猫狗识别模型，随着训练轮次的增加训练集识别准确率继续增加，而验证集的准确率反而下降，这时说明模型出现了过拟合现象。

4.任务知识解决过拟合解决过拟合可以增加训练数据量，通过获取更多数据或使用数据增强技术来人为地扩充训练集，这有助于模型学习到更加泛化的特征。可以使用应正则化手段，常用的是Dropout，这是一种在训练过程中随机关闭某些神经元的技术，强迫网络不过分依赖任何一组特定的神经元，从而提升模型的泛化能力，或者使用权重衰减，在损失函数中加入权重惩罚项（如L1或L2正则化），以抑制过大的权重值，避免模型变得太复杂。还可以通过调整模型架构简化网络结构，减少层数或神经元数量，或者使用预训练的网络进行微调，以限制模型复杂度。

4.任务知识图像的数据增强模型出现过拟合，增加样本数量是首选的办法图像数据增强是一种在训练机器学习模型时常用的技术，特别是在深度学习中，它通过增加训练集的多样性来提高模型的泛化能力，从而避免过拟合，并提高模型在新数据上的性能。

4.任务知识图像的数据组合增强组合增强，将以上几种方法组合使用，创造出更多样化的训练样本，例如在猫狗识别中，可以使用旋转、平移变换、翻转等数据增强方法处理同一张照片，生成多个新的样本。

4.任务知识ImageDataGenerator类Keras中的图像增强可以通过使用图片预处理生成器ImageDataGenerator类来实现。可以把它理解为是一个图片生成器，可以每一次给模型输入一个batch_size大小的样本数据，同时也可以在每一个批次中对这batch_size个样本数据进行增强，扩充数据集大小，增强模型的泛化能力比如进行旋转，变形，归一化等等，并且可以循环迭代。

4.任务知识ImageDataGenerator类参数ImageDataGenerator主要参数rotation_range：浮点数或整数，控制随机旋转的角度范围。width_shift_range和height_shift_range：浮点数或整数，控制随机平移的宽度和高度范围。horizontal_flip：布尔值，决定是否进行水平翻转。vertical_flip：布尔值，决定是否进行垂直翻转。zoom_range：浮点数或整数，控制随机缩放的范围。fill_mode：字符串，定义填充新创建像素的方法。channel_shift_range：浮点数或整数，控制颜色通道上随机偏移的范围。

4.任务知识ImageDataGenerator类方法fit方法：将数据生成器用于制定的数据样本flow方法：接收图片数据集和标签,生成经过数据提升或标准化后的数据,依次取batch_size的图片并逐一进行变换，然后再循环flow_from_directo