面向高速公路的车辆视频监控分析系统

　　摘要：随着视频监控技术在道路安全应用的迅猛发展，为实现高速公路智能化管理，提出一套面向高速公路的车辆视频监控分析系统。通过对监控视频流中的车辆进行检测和跟踪，进一步实现高速公路相关车辆监测应用。提出了基于双向金字塔多尺度融合的轻量级车辆检测跟踪算法，基于YOLOv3在主干网络上使用轻量级网络fficientNet，并且利用双向特征金字塔网络进行多尺度特征融合，使得算法在保证检测实时性的同时提升检测准确度。通过采集高速公路监测视频，构建了一个多场景高速公路车辆目标数据集。在此数据集上的实验结果表明，所提出的算法检测精度达97.11%，高于原始YOLOv3检测算法16.5%，并且结合DeepSORT模型在车辆跟踪上以31帧秒实时运行。同时，该车辆监测系统可在车流量统计、交通异常事件检测领域进行多路实时监测，具有实际应用价值。

　　关键词：高速公路视频监控;车辆监测;目标检测;目标跟踪;多尺度特征融合

　　在高速公路管理中，保障道路交通的稳定和畅通是重中之重，然而高速公路车辆异常事件如违法停车、交通拥堵等时常发生，极大程度影响高速公路畅通与安全，目前高速公路车辆监测则多停留在基于全球定位系统(GPS)的位置信息监测[1]，以及事故后调取视频行车记录进行取证还原上。此方法由于信息传输延迟，缺乏交通车辆监测的实时性和准确性。随着我国高速公路视频监控规模的迅速扩大，已经基本实现路网视频监控全覆盖，因此，利用监控视频实现车辆监测可提升高速公路智能化管理水平，即通过监控摄像头采集视频流数据，并对视频流中的车辆进行检测和跟踪，实现交通车辆监测应用。

　　公路管理论文范例： 高速公路隧道机电工程施工质量控制要点探析

　　近年来，随着计算机硬件发展和运算力的提高，尤其是图形处理器(GPU)的广泛应用，研究学者利用深度学习方法会车辆进行检测和跟踪[24]，使得高速公路场景下的车辆监测更准更快更智能化。目前，基于智能视频分析的高速公路车辆检测与跟踪面临以下几个问题：(1)车辆实时性检测要求高，由于高速公路交通流量检测和异常事件等车辆检测信息需要实时的反馈，并且要求同一平台运行多路监控视频，因此对目标检测算法的速度和效率都要求较高，需要完成实时的检测和跟踪以确保及时的高速路况反馈;(2)车辆尺度变化大，由于高速公路场景中存在车辆由近及远、由远及近等车辆尺度变化的情况，且车辆目标在图片的不同位置会有明显的形变，同一车辆目标在摄像头画面边缘位置会发生明显的大小形变，会影响小目标的检测和跟踪精度;(3)场景变化大，由于高速公路监控的架设场景不同，摄像头视角和高度也会存在差异。场景变化对检测算法的影响较大。面向高速公路的车辆视频监控分析方法的基础包括目标检测、跟踪等技术。

　　目前，目标检测技术已经有着广泛而成熟的应用，主要有一阶段算法和两阶段算法两大类别，一阶段算法从图像直接预测目标，速度较快但精度较低;两阶段算法先在图像上产生可能包含目标的候选框，再对候选框进行修正，该类算法精度高但速度较慢，以区域卷积神经网络(RegionConvolutionNeuralNetwork，RCNN)系列[57]为代表。一阶段算法YOLO检测算法[8]凭借其检测速度块且不失准确率的优点目前被广泛应用于目标检测领域中。特别是YOLOv3[9]，其主干网络darknet53特征提取性能强大，检测精度有了很大提升，成为目标检测领域精度和速度都表现较好的算法。虽然YOLOv3对在检测精度上表现优异，但是其主干网络DarkNet53仍包括53层卷积层，巨大的计算量和参数量会影响实际高速公路车辆监测实时性。

　　YOLOv3tiny[9]是一种低参数量的检测方法，只需34.7MB的储存空间，有训练速度快、训练时所需显存少、检测速度快等优点。但YOLOv3tiny对图像的深层特征的提取能力较弱，泛化能力较差，尤其是对多场景变化以及尺度变化较大的物体检测效果不理想。

　　为解决实时性，在特征提取主干网络上，笔者将主干部分特征提取网络替换成EfficientNet[10]轻量级网络，其为一个可以平衡缩放网络输入图像分辨率、网络宽度和网络深度的模型，其减少了模型参数量，增强了其特征提取能力，使网络处于高效、平衡的状态。高速公路监控场景多样，拍摄角度也不尽相同，存在车辆在监控画面中的不同位置尺度不同的情况，如何有效地表示和处理多尺度特征是目标检测中的主要难点，因此在检测车辆时需进行多尺度特征融合。

　　LIN等[11]提出了特征金字塔网络(FeaturePyramidNetworks，FPN，该方法将神经网络中更抽象的顶层特征进行上采样，并通过横向连接将其与神经网络前向传播过程中生产的相同大小的特征图进行融合，在基本不增加计算量的情况下，提高了模型对小物体的检测能力。在FPN的基础上LIU等[12]提出PANet，PANet在FPN原有的结构上添加了一条自底向上的路径聚合网络，进一步提升了效果，但PANet的参数量和计算开销都比较大。

　　以上这些融合FPN都只是简单地上采样后将特征相加，没有考虑不同分辨率特征贡献程度的差。在多目标跟踪算法方面，基于匈牙利算法的后端追踪优化算法，如SORT[13]、DeepSORT[14]算法，能够满足实时跟踪的要求，其中DeepSORT算法在SORT算法的基础上，通过提取深度表观特征明显提高了多目标的跟踪效果。综上所述，笔者提出并应用于面向高速公路的车辆视频监控分析系统，主要创新点如下：

　　(1)提出实时、高效地高速公路车辆监测系统，通过分析高速公路监控视频，以车辆检测跟踪为基本算法可完成车流量统计、交通异常事件检测等事件，实现面向高速公路的车辆视频监控分析系统，达到高速公路实时高效智能化车辆管理的目的;(2)为解决高速公路车辆监测中的场景多变、多尺度目标检测问题，同时兼顾车辆检测的精度和速度，本文提出基于双向金字塔多尺度融合的轻量级车辆检测跟踪算法，使用EfficientNet轻量级网络，实现了检测模型的轻量化和目标检测实时性;同时增加双向特征金字塔网络对原模型多尺度融合模块进行优化，利用跨尺度连接和加权特征融合在参数量更小的情况下实现对多尺度车辆的检测;(3)依据真实视频数据提出构建了一个包含不同交通场景的车辆目标数据集，场景包括高速公路白天、高速公路傍晚、高速公路低能见度、高速公路收费站以及隧道视角，以验证高速公路监控场景变化问题。

　　1面向高速公路的车辆视频监控分析系统

　　为解决高速公路实时智能化车辆监测，笔者提出的面向高速公路的车辆视频监控分析系统，该系统主要分为高速公路数据采集与输入模块、车辆监测主模块和应用模块，下面对每一模块功能进行介绍。

　　数据采集与输入模块：通过高速公路上的监控摄像头拍摄视频，采集实时视频流数据，并将视频流数据以连续帧序列的结构输入车辆监测主模块;车监测主模块：即基于双向金字塔多尺度融合的轻量级车辆检测模型，包含车辆检测模块和车辆多目标跟踪模块，车辆检测模块采用多尺度融合的轻量级车辆检测方法对输入的连续帧序列进行车辆检测;将车辆检测模型输出的每辆车候选框大小和位置信息为输入至车辆跟踪模块，采用DeepSORT多目标跟踪方法进行跟踪，得到连续帧内车辆的坐标、轨迹信息;应用模块：结合车辆检测和跟踪的所得到的信息，采用虚拟线设置技术进行车流量统计;采用车辆坐标及轨迹变化进行高速公路异常事件的判断。

　　2基于双向金字塔多尺度融合的轻量级车辆检测跟踪模型

　　在车辆监测主模块，提出了基于双向金字塔多尺度融合的轻量级车辆检测跟踪算法，以达到实际高速公路场景的应用要求。针对高速公路监控摄像头拍摄画面中存在的拍摄视角多样、高速公路场景多样、车辆尺度变化等问题，提出了基于双向金字塔多尺度融合的轻量级车辆检测跟踪模型。

　　3实验与结果分析

　　3.1数据集的构建

　　为验证笔者所提出的高速公路车辆监测系统的有效性以及算法的实时性和准确性，构建陕西地区高速公路视频监控数据集，包括绕城高速、西汉高速——终南山隧道等路段，其中西安绕城高速，位于靠近市区地区，车流量大、车速适中、摄像头拍摄角度多样等特点;而西汉高速——终南山隧道，位于秦岭区域，具有车辆种类多样、车速快、隧道多等特点。该车辆监测视频数据集，场景包括高速公路白天、高速公路晚间、高速公路低能见度、高速公路收费站以及隧道等视角，具有多场景变化的特点。

　　视频总长度达到273h，存储总量达到了400GB。为建立多样化数据集奠定了良好的基础，对不同场景中的不同车辆按照VOC数据集样式进行了标注。同时，为了验证车辆监测系统在高速公路异常事件检测应用的准确性，选取了98段包含异常停车事件的视频、17段包含拥堵事件的视频和57段包含逆行事件的视频，并对每段视频分别标记异常事件标签，以作为异常事件检测数据集。

　　4总结

　　笔者提出了一套面向高速公路的车辆视频监控分析系统，针对高速公路监控场景中车辆检测跟踪的多尺度问题和检测实时性要求设计了一种基于双向金字塔多尺度融合的轻量级车辆检测跟踪算法，基于YOLOv3模型在主干网络上使用轻量级网络EfficientNet，并采用双向特征金字塔网络模块进行多尺度特征融合。

　　同时本文依据采集到的真实视频数据构建了一个包含不同交通场景的车辆目标数据集，以解决多高速公路多场景问题。实验结果表明，YOLOv3EffiNet+BiFPN模型检测精度达97.11%，高于原始OLOv3检测算法16.5%，并且结合DeepSORT模型在车辆跟踪上以31帧每秒的实时运行。同时该车辆监测系统可在车流量统计、交通异常事件检测领域进行多路实时检测，具有实际应用价值。

　　参考文献：

　　[1]M.Almomani,N.Y.Alkhalil,E.M.AhmadandR.M.Jodeh,"UbiquitousGPSvehicletrackingandmanagementsystem,"2011IEEEJordanConferenceonAppliedElectricalEngineeringandComputingTechnologies(AEECT),2011,pp.16.

　　[2]S.Shruthi,"VehicleTrackingusingConvolutionalNeuralNetwork",LectureNotesinEngineering&ComputerScience,pp.10521055,2011.

　　[3]Y.Liang,Y.Li,K.ZhaoandL.Meng,"ObjectTrackingAlgorithmbasedonMultichannelExtractionofAHLBPTextureFeatures",2018InternationalConferenceonAdvancedMechatronicSystems(ICAMechS),pp.332336,2018.

　　作者：毛昭勇，王亦晨，王鑫1,2，沈钧戈