基于多源信息融合的目标检测方法
摘要
随着互联网大数据时代的到来，目标检测已被广泛应用于视频监控、虚拟现实、
人机交互和行为理解等众多领域，但只通过单源信息进行目标检测，容易受到设备
自身、外界环境和目标多样性等因素影响，导致误检或漏检，从而降低目标检测精
确度，而多源信息具有各自的优势，能实现优势互补，弥补单源信息缺陷，因此，
本文以图像信息和点云信息融合为切入点，研究多源信息融合的目标检测方法。具
体研究内容如下：
（1）针对目标检测模型在实际应用场景中易受到环境影响问题，提出一种基于
点云融合体素网络（PointFusionVoxelNet,PFVNet）的多源信息融合目标检测模型。
首先，以点云目标检测模型VoxelNet为基础，增加图像数据处理流，利用数据投影
与特征索引的点对点融合方法，以及点对点特征拼接的特征融合方法融合点云信息
与图像信息。其次，采用堆叠体素特征编码层进行数据增强，实现点云中每个点的
信息与局部聚合信息的交互。在此基础上，利用中间卷积层与区域候选网络聚集体
素局部信息，扩大感受野获取更丰富的形状信息。最后，通过对比实验和消融实验
验证提出的PFVNet模型能更有效的抵抗环境带来的影响，提高目标检测精确率。
（2）针对目标检测模型不能较好的兼顾小目标的检测以及特征利用不充分的问
题，在PFVNet的基础上引入路径聚合网络，提出基于路径聚合点云融合体素网络
（Path-AggregationPointFusionVoxelNet,PPFVNet）的多源信息多尺度融合的目标检
测模型。首先，利用高层特征包含的语义信息获取目标整体特征，利用低层特征包
含的几何信息获取小目标边缘特征，融合高层特征和低层特征，丰富特征的上下文
信息。其次，采用多尺度特征的互补融合提高目标检测性能。最后，通过对比实验
和消融实验验证提出的PPFVNet模型对提高目标检测的性能具有一定的有效性。
关键词：多源信息；多尺度融合；路径聚合网络；目标检测
基于多源信息融合的目标检测方法
Abstract
WiththeadventoftheInternetbigdataera,objectdetectionhasbeenwidelyusedin
manyfieldssuchasvideosurveillance,virtualreality,human-computerinteractionand
behaviorunderstanding,etc.However,objectdetectionbyonlysingle-sourceinformationis
easilyaffectedbyfactorssuchasthedeviceitself,externalenvironmentandobjectdiversity,
resultinginfalsedetectionormisseddetection,thusreducingobjectdetectionaccuracy,while
multi-sourceinformationhasitsownadvantagesandcanachievecomplementaryadvantages
Therefore,thispapertakesthefusionofimageinformationandpointcloudinformationasthe
entrypointtostudytheobjectdetectionmethodofmulti-sourceinformationfusion.The
detailsoftheresearchareasfollows:
(1)Amulti-sourceinformationfusionobjectdetectionmodelbasedonPointFusion