摘要
随着数字显示设备的多样化,同一幅图像需要在不同纵横比的显示终端呈现,因
而图像重定向相关研究获得了广泛关注。图像重定向方法旨在通过对图像的重要目标
进行检测并加以保护,生成符合人的主观感知的重定向图像。由于图像的复杂性,图
像中包含多个重要目标且这些目标的重要度各不相同,如何模拟人眼注意力为多个目
标分配重要度以及根据重要度进行重定向操作成为一个具有挑战性的任务,此外,图
像的美学信息对重定向图像的主观感知也是非常重要的因素。
为了解决上述问题,本文提出了基于显著性排序和美学预测的图像重定向算法,
主要研究工作和创新如下:
(1)提出了上下文语义感知的显著性排序算法,通过通道级细化和空间级细化提
取实例的语义信息,并与实例特征相融合,然后输入到Transformer编码器学习实例
间的交互信息,生成模拟人眼注意力转移路径的显著性排序图。
(2)提出了基于多层级美学特征增强和多模式构图融合的美学预测算法,首先利
用SwinTransformer提取多层级特征并进行自底向上的融合,然后对融合后的特征利
用本文提出的五种美学构图模式进行多池化操作,获得美学特征分布图,最后通过
Softmax激活层进行美学得分预测。
(3)根据显著性排序图和美学特征分布图,本文提出两种多操作图像重定向方法。
第一种方法是基于显著性排序和相似度量的多操作图像重定向,融合显著性排序图和
梯度图作为重要度图来预测图像中不同目标的显著性排序顺序,来指导基于能量传递
的缝裁剪,以保护图像的重要区域;为了避免过度缝裁剪引起的结构变形,提出客观
相似度量,在结构形变超过阈值后将缝裁剪切换为均匀缩放以达到最终的缩放比例。
第二种方法是基于显著性排序和美学预测的自适应图像重定向,融合美学特征分布图、
显著性排序图和梯度图作为重要度图,用于预测不同目标的显著性排序顺序和美学信
息,并提出结合缝裁剪和自适应缩放的多操作进行图像重定向,以保护图像美学信息
且使目标形变最小化。
根据以上工作,本文进行三组实验,分别将提出的显著性排序方法、美学预测方
法,以及两种多操作图像重定向方法与主流的相关方法进行对比,实验表明本文提出
的方法都获得了较好的性能,得到的重定向图像不但能够保护主体目标形变最小而且
满足人的美学感知。
关键词:多操作图像重定向;显著性排序;美学预测;自适应缩放
I
II
ABSTRACT
Withtheemergenceofvariousdigitaldisplaydevices,thesameimageneedstobe
presentedondifferentdisplayterminalswithdifferentaspectratios,thusresearchonimage
retargetingbecomeswidelyfocused.Theimageretargetingmethodisusedtodetectand
protecttheimportantobjectsoftheimagestogenerateretargetedimagesthatmeethuman
subjectiveperception.Sinceimagesarecomplicatedandalwayscontainmultipleimportant
objectswithdifferentsaliencytothehumanbeing,itisachallengingtasktoassigndifferent
importancetomultipleobjectsaccordingtoattentionofhumaneyes,thusperformingimage
retargetingtasksaccordingtotheirimportance.Inaddition,aestheticinformationplaysan
imp