基于RL与GAN的声呐图像生成及鲁棒性分析
摘要
声呐图像是进行水下探测研究的重要依据。然而水下恶劣的成像环境以及高昂的
声呐探测成本严重限制了声呐图像的质量以及数据集的规模。特别是在深度学习等方
法被广泛应用的环境下，声呐图像数据集的规模会直接影响深度学习的学习效果及其
在水下目标探测等领域的应用。此外，声呐图像数据集的稀缺导致了相应的评价体系
与评估方法的不完善，一定程度上妨碍了对水下相关任务的研究。针对以上问题，本
文对声呐图像数据集生成方法与声呐图像数据集鲁棒性评估方法进行了深入研究。主
要研究内容如下：
（1）针对声呐图像数据集稀缺，数据集规模不足的问题，提出了一种将深度强化
学习方法与生成对抗网络相结合的D3GAN（DeepDeterminedDoubleGAN,D3GAN）
模型。该模型主要由两组生成对抗网络与强化学习方法DDPG结合而成，两组生成对
抗网络实现光学图像向声呐图像的风格迁移，借助深度强化学习方法DDPG的试错机
制，监督生成对抗网络生成图像的方向，指导完成对阴影特征等重要判读特征的补充。
在此基础上，与CycleGAN生成的声呐图像数据集进行对比与主观分析。D3GAN能够
成功并较快收敛，且生成的声呐图像数据集在图像质量上不逊于CycleGAN。两个模型
都可以使多数特征得到比较恰当的迁移，特别的，在阴影特征等重要判读特征的补充
上，D3GAN要明显优于CycleGAN，更能够适应声呐图像数据集的生成。
（2）针对声呐图像数据集鲁棒性评估体系与评估方法不完善的问题，提出了一种
面向声呐图像数据集的多指标归一组集评估方法。该方法综合了生成对抗网络评估方
法、图像数据质量评估方法、图像鲁棒性评估以及具体实验任务评估方法，依照一定
的规则从声呐图像数据集的图像质量、生成声呐图像与真实声呐图像之间的差异、生
成声呐图像抵抗鲁棒性攻击的能力及其在具体识别任务中的表现等角度，综合评估声
呐图像数据集的整体鲁棒性。依据多指标归一组集评估方法，对D3GAN与CycleGAN
生成的声呐图像数据集分别进行评估，D3GAN模型生成的声呐图像数据集综合鲁棒性
比CycleGAN高出约24.17%，从客观数据角度表明D3GAN相较于CycleGAN更加适应
声呐图像数据集的生成。
关键词：生成对抗网络；强化学习；鲁棒性；声呐图像数据集
基于RL与GAN的声呐图像生成及鲁棒性分析
Abstract
Sonarimageistheimportantbasisforunderwaterdetectionresearch.However,theharsh
underwaterimagingenvironmentandhighsonardetectioncostsseverelylimitthequalityof
sonarimagesandthesizeofthedataset.Especiallyinenvironmentswheredeeplearningand
otherrelatedmethodsarewidelyused,thesizeofsonarimagedatasetsdirectlyaffectsthe
learningeffectivenessofdeeplearninganditsapplicationinunderwatertargetdetectionand
otherfields.Inaddition,thescarcityofsonarimagedatasetshasledtoincompleteevaluation
systemsandmethods,whichhindersresearchonunderwaterrelatedtaskstoacertainextent.In
responsetotheaboveissues,thi