面向城市场景的高分辨率遥感图像语义分割方法研究
摘要
在城市场景的高分辨率遥感图像中进行语义分割，可以获取到城市地物类别、位置
等信息，对城市规划、防震减灾甚至国防安全都具有重要意义。根据拍摄角度的不同，
城市场景高分辨率遥感图像可分为正射和倾斜两种图像。在城市场景的高分辨率正射遥
感图像中，各种类地物之间或某种类别内部均可能存在巨大的尺度变化，限制了以单尺
度方式处理图像的方法性能；且高分辨率图像的纹理特征更加复杂，也容易造成语义类
别混淆。不同于正射图像中统一的分辨率，城市场景的高分辨率倾斜遥感图像中内部空
间分辨率变化剧烈，导致了分割边界模糊的问题；且存在着许多正射图像中不具有的小
目标类别，也给分割增加了难度。针对以上问题，本文分别对正射和倾斜图像两个方面
展开研究。
1.针对城市场景高分辨率正射遥感图像中地物多尺度特征和复杂纹理的问题，提
出了一种基于多尺度特征和注意力机制的语义分割方法。基于SwinTransformer提取的
分层特征，分析不同特征融合方式的效果，提出了一种双向融合特征金字塔结构，将保
留细节信息的底层特征与具有丰富语义信息的高层特征进行充分融合；同时设计了一个
并行的通道注意分支，提出了一种通道自注意模块，从通道维度分配注意力权重，增强
了不同语义类别的特征表示。在两个高分辨率城市场景公开遥感数据集ISPRSVaihingen
和Potsdam上进行实验，两个数据集上的平均交并比分别达到了83.32%和87.65%，超
越了先进的语义分割方法的表现，实现了准确有效的正射遥感图像多类别语义分割。
2.针对城市场景高分辨率倾斜遥感图像中边界模糊和小目标分割精度低的问题，
提出了一种边界聚合和小目标挖掘的语义分割方法。设计了一个边界聚合校准模块，聚
集边界信息并对产生的粗略预测进行重新校准来对语义分割中的物体边界进行更精确
的定位；并在分割过程中插入一个前景感知的步骤，基于双分支的解码器结构引入前景
感知损失函数；在优化阶段，使用小目标挖掘策略使模型能够自动地选择小目标中包含
的困难样本，帮助改进网络优化方向。结合多类别分割主损失、边界校准辅助损失及前
景感知损失，形成多loss协同作用的优化策略。在一个倾斜无人机高分辨率城市遥感数
据集UAVid上进行实验，其测试集上的平均交并比达到了68.40%，超越了现有方法的
表现，实现了倾斜遥感图像的高精度语义分割。
关键词：语义分割；城市场景；多尺度特征；倾斜图像
面向城市场景的高分辨率遥感图像语义分割方法研究
Abstract
Semanticsegmentationofhigh-resolutionurbanremotesensingimagesallowsustoobtain
informationofobjectsinthecity,suchascategoriesandlocations.Itisofgreatsignificanceto
cityplanning,disasterreduction,andevennationaldefense.Accordingtodifferentshooting
angles,high-resolutionurbanremotesensingimagescanbedividedintoorthoimagesand
obliqueimages.Inorthohigh-resolutionurbanremotesensingimages,thereareusuallyhuge
scalevariationsnotonlyamongvariouscategories,butalsowithinacertaincategory.Therefore,
themulti-scalefeatureslimittheperformanceofmethodsthatprocessimagesinasingle-scale
manner.Moreover,thetexturefeaturesofhigh-resolutioni