(19)国家知识产权局
(12)发明专利申请
(10)申请公布号CN116246231A(43)申请公布日2023.06.09
(21)申请号202310248981.0
(22)申请日2023.03.10
(71)申请人酷哇科技有限公司
地址241060安徽省芜湖市中国(安徽)自
由贸易试验区芜湖片区西昌路1号申请人上海酷移机器人有限公司
(72)发明人廖文龙周海进何弢彭湃
(74)专利代理机构上海锻创知识产权代理有限公司31448
专利代理师范文琦
(51)Int.Cl.
G06V
G06VG06V
GO6V
20/54(2022.01)10/774(2022.01)
10/764(2022.01)
20/70(2022.01)
权利要求书2页说明书5页附图1页
(54)发明名称
使用车载相机收集车辆行驶中的数据s1使用
使用车载相机收集车辆行驶中的数据s1
使用YOLOv5m模型对收集的数据进行检测，得到预测类别和相应的
检测框
在检测结果中筛选出非机动车的类别，利用检测框进行截图获取非
机动车图片
整理得到所有非机动车图片并进行标注，然后按比例随机划分为训
练数据集和验证数据集
确率
训练多轮后，选取在验证数据集上分类准确率最高的模型作为最终部署模型
通过高精度地图获取当前车辆的位置信息，并根据位置信息获取当前位置的车道信息
将车道信息从世界坐标系映射到图像坐标系，根据图像坐标系上的
车道信息和当前车辆位置的车道信息，得到图片上的每一个像素点
的车道类别
resnet18
车、非机动车以及行人是否存在违规行为
s2
s3
s6
ss
Ts8
s7
s4
s9
(57)摘要
116246231ACN本发明提供了一种基于深度学习的实时交通违规行为检测方法及系统，包括：收集车辆行驶中的数据，检测得到预测类别和相应的检测框，筛选出非机动车的类别，获取非机动车图片并进行标注，划分为训练数据集和验证数据集；在训练数据集上训练分类模型resnet18,并在验证数据集上验证准确率，选取分类准确率最高的模型作为最终部署模型；获取当前车辆的位置信息和车道信息，将车道信息从世界坐标系映射到图像坐标系，得到图片上的每一个像素点的车道类别；利用模型检测相机拍摄图片中的机动车、非机动车以及行人是否存在违规行为。本发明将机动车、非机动车、行人的违规行为在一套系统中识别检测，降低系统的复杂性，有助于提高识
116246231A
CN
CN116246231A权利要求书1/2页
2
1.一种基于深度学习的实时交通违规行为检测方法，其特征在于，包括：
步骤S1:使用车载相机收集车辆行驶中的数据；
步骤S2:使用YOLOv5m模型对收集的数据进行检测，得到预测类别和相应的检测框；
步骤S3:在检测结果中筛选出非机动车的类别，利用检测框进行截图获取非机动车图片；
步骤S4:整理得到所有非机动车图片并进行标注，然后按比例随机划分为训练数据集和验证数据集；
步骤S5:在训练数据集上训练分类模型resnet18,并在验证数据集上验证准确率；
步骤S6:训练多轮后，选取在验证数据集上分类准确率最高的模型作为最终部署模型；
步骤S7:通过高精度地图获取当前车辆的位置信息，并根据位置信息获取当前位置的车道信息；
步骤S8:将车道信息从世界坐标系映射到图像坐标系，根据图像坐标系上的车道信息和当前车辆位置的车道信息，得到图片上的每一个像素点的车道类别；
步骤S9:利用YOLOv5m模型和resnet18模型检测相机拍摄图片中的机动车、非机动车以及行人是否存在违规行为。
2.根据权利要求1所述的基于深度学习的实时交通违规行为检测方法，其特征在于，对于机动车违停的行为判断为：如果机动车检测框的左下方点和右下方点都属于人行道，则判断该机动车违停；如果机动车检测框的左下方点或右下方点属于人行道，且检测框与人行道的重叠面积达到整个检测框面积的1/2,则判断该机动车违停；对于确定为机动车违停的行为，将当前图片实时上传到相关平台，告知相关人员进行处理。
3.根据权利要求1所述的基于深度学习的实时交通违规行为检测方法，其特征在于，对行人乱穿马路的行为判断为：如果行人检测框的左下方点和右下方点都属于机动车道，则判断该行人乱穿马路；对确定为行人乱穿马路的行为，提醒车辆驾驶人员注意避让，同时将