雨雪雾天气下的轻量级神经网络图像恢复研究
摘要
雨雪雾是大自然中最常见的天气现象。由于它们的客观存在，室外采集的图像会出
现不同程度的目标遮挡、背景模糊、细节丢失或颜色失真等问题。因此，为了保证户外
视觉系统能够对图像进行正确的分析和理解，对雨雪雾天气下采集的图像进行有效恢复
具有十分重要的实际应用价值，一直是图像复原领域的研究热点。近年来，深度学习技
术在图像复原领域取得了突破性进展，已成为雨雪雾天气下图像恢复的主流方法。现有
深度神经网络通过复杂的结构设计来获取更高的性能指标，以满足当前实际应用中对模
型的性能需求。然而，模型中巨大规模的参数量极大限制了它们在实际应用中的部署。
为了解决这个问题，构建轻量级神经网络成为了更好的方案。轻量级神经网络通过大幅
降低模型的参数量，使其能够更加易于部署在移动终端或嵌入式设备。尽管如此，目前
的轻量级神经网络却仍然存在着模型性能与参数规模不平衡的问题，具体体现在轻量级
模型的精度不足或参数依旧冗余。为此，本文总结了雨雪雾天气下最常用的四种图像恢
复任务：图像去雨线、图像去雨滴、图像去雪和图像去雾。通过分析它们不同的数学退
化模型以及现有各类神经网络的缺陷，分别设计了更加具有针对性的轻量级神经网络，
在达到当前深度模型性能的前提下，能够大幅度降低模型的参数量，很好地解决了当前
轻量级模型性能与参数规模的不平衡问题。本论文的研究工作，促进了雨雪雾天气下图
像恢复技术的发展，并为工程应用中的户外视觉系统、移动终端和嵌入式设备上的图像
处理提供了更有效的解决方案。
第一，针对图像去雨线任务中现有轻量级神经网络精度不足的问题，提出一种多尺
度高阶反馈网络。首先，为了降低去雨线网络的总参数量，提出一种轻量级多尺度模块，
通过引入深度可分离卷积大幅降低了模型的参数量；其次，为了提高轻量级去雨线网络
的性能，分别设计了一种结合全局残差学习的高阶反馈机制以及轻量级多尺度长短时记
忆模块，并探索了网络输入输出的不同形式以及损失函数的选择。实验结果表明，本文
提出的轻量级去雨线模型在具有代表性的多个基准数据集上取得了最优或次优的复原
效果，相比于当前性能最佳的去雨线网络RCDNet，实现了参数量28倍的压缩。
第二，针对图像去雨滴任务中现有深度模型参数量大、且缺乏相关轻量级网络研究
的问题，提出一种基于幻像特征生成的轻量级去雨滴模型。首先，为了降低去雨滴网络
的总参数量，提出一种幻像特征生成残差块，在模块的内部以线性操作代替标准卷积操
作；其次，为了提高轻量级去雨滴网络的性能，分别设计了一种复合折叠式特征重用机
哈尔滨工程大学博士学位论文
制和轻量级门控循环单元。实验结果表明，本文提出的轻量级去雨滴模型在性能持平或
者略高于当前两种性能较好的UMAN以及EfDerain模型的前提下，分别实现了参数量
37倍和51倍的压缩。
第三，针对图像去雪任务中现有深度模型参数量大、且缺乏相关轻量级网络研究的
问题，提出一种基于对偶递归策略的轻量级去雪模型。首先，为了降低去雪网络的总参
数量，提出一种多分支结构的轻量级特征蒸馏模块，通过使用多尺度逐深度卷积从根本
上降低去雪模型的参数量；其次，为了提高轻量级去雪网络的性能，分别设计和构建了
一种对偶递归策略以及双重耦合长短时记忆模块。实验结果表明，本文提出的轻量级去
雪模型在具有代表性的多个基准数据集上取得了最优或次优的复原效果，相比于当前性
能最佳的去雪模型HDCWNet，实现了参数量24倍的压缩。
第四，针对图像去雾任务中现有轻量级网络无法很好提取判别性特征，仍存在参数
冗余的问题，提出一种基于全尺度特征学习的轻量级去雾模型。首先，为了降低去雾网
络的总参数量，提出一种全尺度特征聚合模块。通过设计模块内的级联映射和并联映射
操作，完成了对全尺度特征的自适应融合。因此无需使用大量参数即可实现对图像中判
别性特征的提取，从而实现模型参数量的降低；其次，为了进一步提高轻量级去雾网络
的性能，提出一种全尺度注意力模块。通过结合三种不同尺度的通道注意力、像素注意
力以及空间注意力，使得模型具有为不同特征赋予不同重要性的能力，从而提高了去雾
性能。实验结果表明，本文提出的轻量级去雾网络，在具有代表性的多个基准数据集上
都取得了最优的复原效果，相比于当前性能最佳的去雾模型GRFANet，实现了参数量5
倍的压缩。
关键词：深度学习；雨雪雾天气；图像恢复；轻量