基于智能识别技术的铁路安检辅助分析装置研究

　　摘要：针对铁路安检 X 光图像判图高度依赖人工，时有发生漏检的问题，提出一种基于智能识别技术的铁路安检辅助分析装置;通过采用视频图像接口的硬件设计，解决与安检仪的适配问题;通过采用跟踪进程、分析进程、推送进程的多进程思路设计，解决 60 Hz 刷新率下的高精度分析显示问题;跟踪进程采用关键点差分算法实现安检 X 光图像跟踪，分析进程采用改进的残差网络(ResNet)实现特征提取，采用 CenterNet 算法实现禁限物品检测，推送进程通过检测键盘中断实现报警图像推送;经实验测试，该装置禁限物品识别准确率达 92%，显示帧率达 60 帧/秒，可适配主流品牌安检仪，满足铁路车站安检辅助分析需求。

　　关键词： 铁路安检;禁限物品检测;图像跟踪;卷积神经网络;辅助分析

　　0 引言

　　铁路旅客运输安全检查主要依托安检仪检测旅客行李并成像，值机人员根据图像颜色及形状判断查堵禁限物品。目前铁路客运安检物防和技防措施相对较少，仍采用传统的人工判图方式，时有发生漏查漏检事件[1]。因此，迫切需要基于机器视觉、深度学习等智能识别技术，并结合铁路车站现场情况，研究铁路安检辅助分析装置，辅助安检判图作业[2,3]。铁路安检辅助分析装置相关研究较少，现有研究主要围绕禁限物品识别算法。文献[4]基于Faster-RCNN、RetinaNet等主流目标检测算法针对手枪检测进行研究，实验环境为GTX1080TI显卡，未分析算法的检测速度和资源消耗。文献[5]以Yolo-V3为基线算法，通过引入复合骨干网络、特征增强模块改进算法，提高了检测精度，在2张RTX2080TI的环境下，检测速度达到40帧/秒(FPS)。

　　文献[6]以Yolo-V3为基线算法，通过引入密集连接，改进损失函数的方法进行优化，提高了检测精度，检测速度低于10FPS。上述研究主要关注识别精度的提升，缺乏对模型轻量化部署、资源消耗、检测速度、安检仪适配、整体设计的统一考虑，均无法直接运用于铁路安检辅助分析装置，不满足现场需求。铁路安检作业流程如下：判图员通过盯控安检仪显示器，根据图像颜色及形状判断查堵禁限物品，若发现疑似禁限物品，则通知处置人员进行开包核验，并对核验确认携带禁限物品的旅客登记信息。综上分析，铁路安检辅助分析装置主要功能如下：1)实时分析安检X光图像，准确识别图像中的禁限物品，并以直观、清晰的方式在安检X光图像中进行展示，且不影响判图员看图作业;2)支持导出发现的禁限物品图像、报警信息等。

　　1.硬件设计

　　目前，全路客运站的安检通道约5300个，主流安检仪厂家约30家，没有标准化的对外数据接口，安检仪内置工控机与显示器通过VGA、HDMI、DVI等接口连接。综合业务需求和现场情况，辅助分析装置采用边缘分析方案设计。辅助分析装置与安检仪通过视频图像接口连接，可适配VGA、HDMI、DVI接口，满足主流安检仪的接入适配;辅助分析装置与显示器通过视频图像接口连接，将识别禁限物品后的视频信号传送至显示器。基于上述的装置连接设计和功能需求，辅助分析装置应尽量小型化，且支持视频采集、分析处理和实时展示功能。因此，辅助分析装置硬件采用定制工控机，整机采用电源外置设计，以尽可能减小机身尺寸，方便实施部署，装置基于X86架构，并搭载视频采集卡和GPU，满足视频采集和分析处理展示要求。主流安检仪的画面刷新率为60Hz，画面分辨率不超过1 080 P，视频接口通常为DVI、HDMI或VGA接口。

　　因此，视频采集卡的最高采集性能需支持60 Hz下的1 080 P分辨率，在采集接口方面，DVI、HDMI为数字高清接口，VGA为模拟接口，且3种接口可相互转换，故视频采集卡仅需支持一种接口，本设计选择DVI接口的视频采集卡。估算视频分析、处理、展示需求，进行CPU和GPU选型。由于系统软件涉及目标检测、目标跟踪、实时视频展示等多种功能，存在多进程需求，故采用4核CPU。GPU选型主要由目标检测算法和模型的算力需求决定。经实验测试，禁限物品检测算法和模型的显存需求不高于4 GB，在10.6 TFlops算力的GTX1080TI显卡下，检测一张图片的时间约为10 ms。经分析，禁限物品检测算法的检测时间在100 ms即可满足需求，故GPU显存应不低于4 GB，浮点算力不低于1 TFLops，兼顾成本控制情况下，选择4 GB显存、896Cuda核心的入门级计算卡。辅助分析装置配置8 GB内存，硬盘容量要求较低，为提高读写速度，提高整机性能，采用固态硬盘，选择240GB SSD硬盘。

　　2.软件设计辅助分析

　　装置主要功能为对接入的安检视频信号实时分析，检测禁限物品，并将识别禁限物品后的视频信号实时展示。软件设计主要有以下2点挑战：1)高速处理及显示问题：安检视频信号刷新率通常为60 Hz，即每一帧安检画面的分析、显示全流程需在16 ms内完成;2)高准确率问题：对手抢、刀具、压力罐等禁限品的识别准确率应尽量高。为保证高准确率，采用基于深度学习的目标检测算法进行禁限物品识别。对主流基于深度学习的目标检测算法Faster-RCNN,[7] SSD, [8]Yolo,[9] RetinaNet[10]等进行性能比选，均无法在有限的边缘算力下，在16ms内完成1帧安检X光图像的处理。为保证软件在低资源消耗下可实时准确地进行安检X光图像检测，软件整体设计采用基于深度学习的目标检测算法结合安检X光图像跟踪算法实现。

　　软件采用多进程设计。主进程为跟踪进程，采用关键点差分算法实现安检X光图像跟踪，负责读取安检X光图像、控制分析进程启动、执行安检X光图像跟踪算法、识别结果展示，整个流程控制在16ms内完成，可满足安检X光图像实时展示需求。首先，对读取的每一帧安检X光图像，判断是否需要做分析检测，分析检测采用定时轮询方式，即每隔固定的帧数图像进行分析检测。然后，计算读取的图像与参考基准图像的画面偏移量，将禁限物品检测的标记方框按照计算的偏移量进行调整，并标记在新读取的图像上，实现安检X光图像中禁限物品的跟踪。最后，调用展示函数，展示最新的安检X光图像。子进程为分析进程和推送进程。

　　分析进程根据检测标志位数值，执行禁限物品检测，通过对每次的分析检测结果进行锁定，保存为参考基准信息，主进程中的跟踪算法便可根据参考基准信息进行跟踪，降低了对分析进程实时性的要求，分析进程仅需在200ms内完成分析检测即可。分析进程采用改进的ResNet实现禁限物品图像的特征提取，采用CenterNet算法实现禁限物品检测，可实现手抢、刀具、扳手、钳子、剪刀、压力罐、打火机、充电宝、塑料瓶、保温杯10类禁限物品的检测和识别，检测结果以目标类别、置信度、标记方框坐标进行输出。推送进程根据键盘中断判断是否推送信息，判图员通过指定按键操作，可实现向外部系统平台推送检测结果的操作，便于禁限物品信息录入和统计分析。

　　3.关键技术

　　3.1 改进的 ResNet 特征

　　提取网络何恺明等提出的ResNet网络，已在众多图像分类算法中取得优异成绩，并被广泛运用在目标检测算法中作为特征提取网络。

　　3.2 CenterNet 算法

　　禁限物品检测CenterNet算法为无锚点目标检测算法，与传统的二阶段目标检测算法和一阶段目标检测算法相比，算法舍弃了锚点框的思想，且最终生成的预测框不需要进行非极大值抑制运算，在保证高精度的同时，大幅提升了检测速度，在coco数据集中达到了142FPS的检测速度。[17-20]CenterNet算法使用预测框的中心来表示目标，在预测目标中心的基础上，同时预测目标的分类、目标中心的偏移量以及目标的宽高。[21]将128×128×128的输入特征分别送入3个预测分支，用于预测目标中心点、中心的偏移量以及目标的宽高。由于特征图相比于输入图像有4倍的下采样率，预测的目标中心与真实目标中心存在一个偏差，这个偏差通过中心的偏移量预测分支进行预测。

　　3.3 关键点差分算法

　　关键点差分算法的目的是实现禁限物品的目标跟踪。视觉目标跟踪指在一个视频序列中，给定第一帧目标区域，在后续帧中自动匹配到该目标区域的任务。[22]视频目标跟踪算法大多基于粒子滤波、均值漂移、孪生网络等技术，这些算法为适应场景遮挡、光照变化、物体本身形变等复杂因素，均有大量复杂计算，无法满足系统目标跟踪实时性要求。因此，分析安检X光图像的生成机制和特点，设计关键点差分算法。安检仪生成安检X光图像的方式与摄像机生成视频信号的方式不同。摄像机生成的视频信号，每一帧的整幅画面都是重新曝光生成的，即使是完全静止的画面，每一帧图像中的相同位置的像素值也会有差异。安检X光图像是通过安检仪探测器扫描产生，数据以列信号方式生成，即随着待检测物体在安检传送带的传送，逐列增量产生新的数据信号，故连续安检X光图像中的相同画面部分，像素数值完全相同。安检X图像的这一特点，使得安检X光图像的跟踪算法可通过像素差值对齐的方式进行设计，大幅降低运算量。

　　3.4 报警图像推送

　　为支持报警图像、报警信息的导出，方便处置登记，设计推送进程。推送进程采用独立进程设计，通过检测键盘中断，在判图员按下指定按键时，向外发送报警图像，以及报警时间、禁限物品类别、禁限物品置信度等报警信息。报警图像及报警信息通过socket连接的方式，以流的形式进行发送。

　　4. 实验结果与分析

　　辅助分析装置操作系统为Ubuntu16.04，软件采用python3.7实现。多进程基于multiprocessing包实现;安检X光图像数据采集基于cv2包中的VideoCapture类实现;改进的ResNet网络及CenterNet算法基于pytorch1.7实现;算法GPU加速基于Cuda10.1和Cudnn7.6实现;关键点差分算法基于numpy包实现;报警图像推送基于cv2包中的事件函数实现。

　　4.1 禁限物品识别检

　　测禁限物品识别模型基于铁路安检数据集训练，该数据集包含简单背景、复杂背景下共10类禁限品的10 000张图像，禁限物品种类包括：手抢、刀具、扳手、钳子、剪刀、压力罐、打火机、充电宝、塑料瓶、保温杯。选取数据集中70%为训练集，30%为测试集，模型训练采用SGD优化器，超参设置如下：初始学习率0.005，训练100轮，学习率在第60轮和第90轮分别衰减至1/10，训练batch设置为16，采用平均精度(mAP)作为评价指标。

　　4.2 整机测试

　　按硬件参数设计定制工控机，整机采用小型化设计，尺寸为23.5 cm×18.0 cm×13.2 cm。对整机在车站进行现场测试，辅助分析装置与安检仪通过DVI接口连接。采用车站收缴的刀、剪刀、打火机、压力罐、扳手等禁限物品实物测试装置报警准确率。将禁限物品装入书包、行李箱等，进行过机测试，干扰物为笔记本电脑、衣服、书籍、电子产品、食品等，统计分析检测的准确率。

　　分析装置在复杂背景下的表现与简单背景下存在较大差距。分析实验数据，发现算法对复杂背景存在较多误判，拉低了算法准确率。在复杂背景中，多种目标混合重叠，对算法干扰较大，尤其是笔记本电脑目标，由于笔记本电脑有较大的金属和电路板区域，产生了大量纹理纹路复杂的蓝色背景，贡献了较多误判。下一步，将从以下方面对装置进行改进：1)对训练数据集中添加笔记本电脑等非禁限物品，扩充数据集，以进一步提升模型在复杂背景下的性能;2)不断扩充数据集，并加入多种品牌型号安检仪的安检图像，持续迭代模型，提升精度。

　　5.结束语

　　为解决铁路安检高度依赖人工判图，时有发生漏报的问题，基于智能识别技术和多进程思路设计了铁路安检辅助分析装置，并对识别检测算法和跟踪算法进行了深入研究。经车站试点测试，辅助分析装置可适配多品牌安检仪，部署实施方便，报警准确达92%，漏报率为3.5%，安检画面达60FPS，满足车站使用需求。辅助分析装置可辅助安检判图员作业，提升整体安检质量，促进安检作业提质增效。

　　参考文献：

　　[1]张秋亮，唐雯，杨栋. 基于智能识别技术的铁路旅客运输安全检查管理信息系统[C]//第十六 届 中 国 智 能 交 通 年 会 科 技 论 文 集 .2021:275-282.

　　[2] 梁添汾，张南峰，张艳喜，等. 违禁品 X光图像检测技术应用研究进展综述[J]. 计算机工程与应用，2021，57(16):74-82.

　　[3] 张积存，费继友，宋雪萍，等. 基于深度学习的 X 光图像智能审像系统[J]. 计算技术与自动化，2021，40(2):125-130.

　　[4] GAUS Y F A， BHOWMIK N， BRECKONT P. On the use of deep learning for the detectionof firearms in x-ray baggage securityimagery[C]// IEEE Symposium on Technologiesfor Homeland Security (HST 2019)，IEEE，2019.

　　[5]郭守向， 张良. Yolo-C:基于单阶段网络的 X光图像违禁品检测[J]. 激光与光电子学进展，2021，58(8):67-76. .

　　作者：杨栋 1 李超 2 吴兴华 2 王椿钧 2 唐雯 2