基于Siamese网络的视觉单目标跟踪算法研究
摘要
目标跟踪目前已经成为了计算机视觉领域的一个研究热点问题，在无人机视频跟踪、
摄像头智能监控、医疗诊断、机器人视觉导航等许多领域有着广泛应用。单目标跟踪理
论和技术在远程打击、敌人探测等军事领域和寻找走失儿童、追查违规车辆等日常生活
领域也同样发挥着重要作用，引起了许多的国内外研究学者对该领域的关注。
针对现有的单目标跟踪算法在执行跟踪任务时面对光线变化、场景之间的遮挡、相
机抖动等复杂场景时跟踪精度较低的问题，本文提出了一种基于孪生特征融合的
Siamese网络单目标跟踪算法ff-SiamRPN++。为了使单目标跟踪算法能够学习到语义信
息更为丰富的图像特征，本文提出了一种改进的孪生特征融合模块，对经过SiamRPN++
算法的孪生特征提取网络处理后的特征图像进行特征融合，将提取出的多层图像特征进
行拼接，最后使用金字塔特征提取模块对拼接后的特征图进行提取并送入后续RPN模
块中进行分类和跟踪。本论文将ff-SiamRPN++算法与多种单目标跟踪算法进行了对比
实验，结果表明ff-SiamRPN++算法相比于其他单目标跟踪算法在单目标跟踪过程中可
以取得更好的效果。
为了进一步提高SiamRPN++单目标跟踪算法的精度和抗干扰能力，本文提出了一
种混合注意力机制对特征图进行注意力加权。本文在对SiamRPN++算法提取出的特征
图进行通道平均激活值可视化和图像信息分析后提出了一种改进的空间注意力机制，然
后在此基础上引入基于标准化的通道注意力机制与空间注意力机制相结合组成混合注
意力机制，并将改进的混合注意力机制与SiamRPN++算法中的ResNet-50网络相结合用
以提取图像特征，获取经过注意力机制筛选后的图像特征。最后将改进后的ResNet-50
网络与孪生特征融合模块相结合提出了单目标跟踪算法ff-SiamRPN++-a，该算法将
ResNet-50提取出的图像特征经过特征融合模块处理后送入RPN模块中进行目标跟踪。
本论文将改进后的混合注意力机制与原始SiamRPN++算法进行消融实验，将ff-
SiamRPN++-a算法与多种基于Siamese网络的单目标跟踪算法进行了对比实验。实验结
果表明，注意力机制可以有效地筛选出图像特征中信息更为丰富的特征通道和空间位置，
同时单目标跟踪算法ff-SiamRPN++-a相较于传统基于Siamese网络的单目标跟踪算法
提高了跟踪的精度和鲁棒性。
关键词：目标跟踪；Siamese网络；特征融合；混合注意力机制
基于Siamese网络的视觉单目标跟踪算法研究
Abstract
Targettrackinghasbecomeahotresearchprobleminthefieldofcomputervision,andis
widelyusedinmanyfieldssuchasunmannedaerialvehiclevideotracking,intelligentcamera
surveillance,medicaldiagnosis,androboticvisualnavigation.Single-targettrackingtheoryand
techniquesalsoplayanimportantroleinmilitaryfieldssuchaslong-rangestrikesandenemy
detection,aswellasindailylifefieldssuchasfindinglostchildrenandtrackingillegalvehicles,
whichhaveattractedtheattentionofmanydomesticandforeignresearchers.
Toaddresstheproblemthatexistingsingle-targettrackingalgorithmshavelowtracking
accurac