基于深度学习的光电系统智能目标识别

　　摘要：智能目标识别技术是光电系统多维立体侦察体系的重要支撑，是实现多角度、全方位目标定位、感知分析的基础。为满足复杂环境下光电系统中基于深度学习的目标识别需求，聚焦数据、算法和计算能力三大挑战，提出一种基于多源信息融合的智能化目标识别方法，对多个传感器融合得到的图像进行学习和训练，从而提高目标识别的能力。基于多维图像融合的目标识别技术，将多波段融合图像数据进行标注、训练学习，用来自动识别出图像中的多个目标。实验结果表明，所提算法能够实现对融合目标的精确识别与定位。

　　关键词：光电系统;智能目标识别;深度学习;多源数据;图像融合;视觉感知

　　引言

　　光电系统是战场侦察感知体系的重要组成部分，在情报、监视、目标跟踪和侦察方面具有重要的应用前景。现代无人系统的感知环境十分复杂，数据信息量大，既有地面目标的识别，又有对空中目标的警戒。单一传感器和单一手段所获取到的数据信息量有限，不同时域、多种波段、多维空间采集到的多源数据信息能够更全面地提供态势信息，生成可深层溯源的全数字化实时态势图，使图中给个点都由数据支撑。多源数据是构建多维立体侦察体系的重要支撑，是实现多角度、全方位目标分析、识别的基础，是确定智能感知数据信息的重要参考[1]。

　　基于多源信息并结合人工智能(AI)的视觉感知系统能“理解”视频图像内容[2]，自动进行目标检测[3]、目标跟踪[4]、深度估计[5]、目标识别，对视频图像进行实时处理并以现实增强技术和语音合成技术将对光电场景的理解实时播报给操作人员[6]，解放相关人员的双眼，提高操作人员对态势的掌控以及提高对突发事件的应对能力[7]。

　　智能信息化体系包括数据感知系统、数据处理系统、智能决策系统等。数据为王，数据的收集与构建是整个信息化感知体系的关键，而光电数据信息具有信息量大、直观性强、可视化程度好的优点，是感知系统的主要信息，占到整个数据系统的75%~80%[8]智能感知系统的核心技术是光电视频图像内容的理解，目标分类识别技术是光电视频图像内容理解的基础[9]。目标分类识别技术在信息化体系的预警探测、精确制导、战场指挥和侦察、敌我识别等军事领域都有广泛应用前景[10]，已受到世界各国的关注。通过多源数据的引入，特别是实时准实时北斗、光电数据与现有侦察数据的融合使用，将极大地提升区域态势感知能力，并为指挥决策提供有利支撑。

　　近年来，基于数据驱动的深度学习技术获得了突破[11]，AI领域取得了显著的技术进步，深度学习技术得到了迅速发展、计算机性能呈指数级增长、训练机器学习的大型数据集数量增加、商业投资迅猛，使得AI技术已经有能力给各领域产生颠覆性变化[12]。例如，在图像识别领域，由于深度学习技术的引入与发展，AI仅用了年时间就在图像识别正确率上超过了人类。如今AI机器学习技术已经可使卫星图像分析和网络防御等劳动密集型活动实现高度自动化，未来的AI技术有可能与核武器、飞机、计算机和生物技术一样，成为给国家安全带来深刻变化的颠覆性技术[13]。

　　可以预期，AI技术会为国家安全机构的战略[1、组织、优先事项和资源分配带来重大变革。由于AI深度学习技术具有颠覆性的革新能力，世界各国都将AI的发展列为重中之重。美国情报高级研究计划局(IARPA)和哈佛大学在《人工智能与国家安全》报告中指出：AI技术是给国家安全带来深刻变化的颠覆性技术，其未来影响力至少可与核武器比肩。习近平主席在“一带一路”论坛提出数字丝绸之路，将AI列入规划。我国国务院发布《新一代人工智能发展规划》，部署构筑我国AI发展的先发优势，加快建设创新型国家和世界科技强国。

　　未来AI将极有可能完全取代人类成为无人系统的大脑，对传统的智能系统带来颠覆性升级，提升无人感知系统的性能。为满足复杂环境下光电系统中基于深度学习的目标识别需求，聚焦数据、算法和计算能力三大挑战，本文提出一种基于多源信息融合的智能化目标识别方法，对多个传感器融合得到的图像进行学习和训练，从而提高目标识别的能力。基于多维图像融合的目标识别技术，将多波段融合图像数据进行标注、训练学习，用来自动识别出图像中的多个目标。

　　1智能视觉感知理论框架

　　基于多源信息融合的智能视觉感知技术研究以多源数据高效和能耗高效为核心，覆盖从二维视觉到三维视觉的技术和应用，主要包含视觉计算、语义理解、三维视觉、数据生成、多模态融合、并行处理等方面。在此基础上，将进一步聚焦到数据、算法和计算能力三大挑战，具体表现在：

　　1)数据上，如何从海量数据中挖掘有用的信息。海量和优质的应用场景数据是训练算法精确性的关键基础。随着互联网、物联网的发展，其产生并存储的数据量急剧增加，为深度学习算法训练模型提供了数据基础。以生成数据训练和不同模态数据对齐两个应用场景为主，使用知识蒸馏与自动数据扩增结合的方法让AI模型高效地挖掘数据中的有用信息。

　　2)算法上，如何设计高效的视觉模型。在深度学习年代，视觉模型主要包含神经网络模型设计和神经网络模型加速两个场景，具体包括如何通过局部连接思路解决网络冗余问题，如何加入正则化思想来解决局部连接带来的不稳定性等。为实现通用视觉模型的目标，推理预测是从视觉感知到认知的关键步骤。虽然预训练方法目前在视觉领域的应用还不成熟，但是近期自监督学习的成果为视觉通用模型的发展注入了新活力，也将成为常识学习的必经之路。 计算能力上，如何提高数据的处理能力。

　　3)AI芯片的出现弥补了CPU在并行运算上的不足，提高了运算能力。计算能力对于AI的普及具有关键的作用。AI发展初期由于传统数据处理技术难以满足大数据的处理需求，限制了技术的落地应用。AI芯片的出现提高了数据的处理能力，弥补了CPU在大规模和高速率计算能力上的不足，当前主流AI芯片有三类：以GPU为代表的通用芯片、以FPFA为代表的半定制化芯片和ASIC定制化专用芯片。其中，GPU作为市场上AI计算最成熟、应用最广泛的通用型芯片，短期内GPU仍将继续占领AI芯片的主要市场份额。

　　2目标图像数据模型库的构建

　　由于目标图像的数据通常是有限的，为解决目标检测识别的图像目标数据缺乏问题，本文采用软件仿真建模方式，构建带有目标标注信息的图像数据库，并以此图像目标数据库为数据样本，开发图像目标检测的算法模型，实现图像数据在军事侦察与作战保障等方面的高效应用。图像目标识别支持环境主要是利用图像目标仿真软件构建图像目标样本库管理。

　　其中，图像目标仿真软件主要由目标及场景模型库、材质数据库、目标场景温度特性计算、大气特性建模、环境特性建模、传感器特性建模、场景合成渲染和场景想定与编辑等子模块组成，实现目标样本图像和标注信息的自动匹配生成，为图像目标样本库管理模块提供各种目标、各种环境、各种类别的样本图像。

　　对图像数据进行人工标注，按照所需格式构建样本数据库;同时更大规模的样本训练图像通过仿真得到，构建各类目标在不同环境、天气、时间等状态下的图像(带标注信息)，形成图像目标数据库，为训练各类型目标识别算法提供基础数据支撑。研究实现稀疏目标观测辅助的跨模态图像生成方法，并基于生成对抗网络构建跨模态图像生成模型，通过利用对抗学习以及稀疏目标观测的监督学习，提高跨模态图像生成的效果。

　　针对稀疏图像中有效观测的稀疏性以及卷积神经网络在处理稀疏图像时的局限性，采用稀疏卷积融合操作，并结合跨模态图像生成，构建稀疏卷积融合网络，能够从稀疏的目标观测图像中提取有效的模态信息并将其与源模态图像进行融合学习。目标三维几何模型数据库(包括模型数据和材质数据)的各类目标模型涵盖多个国家，主要包括固定设施(机场、港口、桥梁、航天发射场、导弹发射阵地、雷达阵地)、动态目标(航空器、舰船、地面车辆等)、空天预警目标(弹道导弹、火箭等)以及其他目标模型。

　　同时，根据工程应用的实际需求，模型开发人员通过Creator或3DMAX三维建模软件后续可进行相关目标模型扩展与仿真加载，补充现有的模型库来满足实际工程项目的需求。同时，软件提供多场景城市、沙漠、山地、林地和海洋配置，实现目标在多种场景下的图像成像仿真。建模过程中，根据目标实际装备的真实尺寸如长、宽、高和直径等参数，对目标三维模型进行建模。目标及场景三维模型数据支持通用模型数据格式FLT，并支持其他数据格式的模型(MAX/3DS/MAYA/OBJ)通过三维软件转换生成LT数据模型，同时软件可支持OSG格式的模型数据，且提供模型材质文件。材质划分工具对目标建模，主要分为实体模型映射和特效模型建模两部分。

　　以飞行器建模为例，飞行器的仿真建模主要由蒙皮、尾喷管、尾焰三部分组成。其中，蒙皮和尾喷管采用实体模型映射方式将实体模型和材质库进行关联，尾焰的红外辐射计算，结合了场景特效库来建模飞机尾焰、火焰、烟雾弹这类特殊效果。

　　3深度学习的计算能力

　　深度神经网络复杂，训练数据多，计算量大。深度神经网络中神经元多，神经元间连接数量也相当惊人。从数学角度看，每个神经元都要包含数学计算(如Sigmoid、ReLU或者Softmax函数)，需要估计的参数量也极大。语音识别和图像识别应用中，神经元达数万个，参数的数量千万，模型复杂导致计算量大，因此计算能力是深度学习应用的基础。

　　目前随着数据、算法、计算能力三大要素的集聚，以深度学习为代表的AI研究呈现快速发展的趋势。以美国为代表的西方国家，在AI硬件基础设计、深度学习框架等AI底层技术领域占据优势，其中深度学习处理器就有美国Nvidia公司的GPU系列产品、Google公司的TPU、IBM公司的TrueNorth(真北)芯片等。目前深度学习图形处理单元(GPU)加速市场机会呈现英伟达(NVIDIA)公司一家垄断的局面。

　　更重要的是，NVIDIA公司在利用GPU构建训练环境时还考虑到了生态的重要性，这也是一直以来困扰AI发展的难题。首先，NVIDIA上线了NVIDIAGPUCloud，亚马逊上线了云平台(AWS)等云平台，触及到了更多云平台上的开发者。其次，NVIDIA公司也与研究机构、大学院校以及Facebook、YouTube等科技巨头合作，部署PU服务器的数据中心。同时，还为全球数千家创业公司推出了Inception项目，除提供技术和营销的支持外，还会帮助这些公司在进入不同国家或地区的市场时寻找潜在的投资机会。

　　NVIDIA公司之于GPU领域的成功除了归功于专属的工作站或云服务器平台，更依托于构建了完整的产业链通路，让新技术和产品有的放矢，从而形成了自己的生态圈。在AI硬件方面优化针对AI算法和软件系统的硬件处理能力，并改进硬件体系架构，同时推动开发更强大和更可靠的智能化硬件设备。

　　4基于多源信息融合的目标识别算法

　　为满足复杂环境下的目标识别需求，本文提出一种基于多维图像融合的目标识别方法，该方法对多个传感器融合得到的大数据图像进行学习和训练，从而提高目标识别的能力。基于多维图像融合的目标识别技术是将多波段融合图像大数据进行标注、训练学习，用来自动识别出图像中的多个目标。通过采用图像融合方法对多波段视频图像序列进行融合，并采用深度学习方法最终智能识别出目标。

　　视频图像序列是本文需要处理的对象。单一波段传感器所获取的图像信息存在着不足之处。例如，可见光图像细节丰富，但是晚上或者光线弱的情况下无法成像;红外图像能够全天候成像，但是得到的是物体温度的分布，不能够实现对细节的观测。采用图像融合手段，可以将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强影像中信息透明度，改善解译的精度、可靠性以及使用率，形成对目标的清晰、完整、准确的信息描述。

　　高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高图像信息的利用率、系统对目标识别的可靠性及系统的自动化程度。在无人系统中，通过基于多维图像融合的目标识别技术可以满足系统的多项需求，解决对外部场景的自动化、智能化感知能力，同时基于多维图像融合的目标识别技术在民用领域的航测、工业测量方面也有广泛用途。

　　本文通过研究不同传感器的成像特性和图像特征之间的相关性，实现了基于多分辨率分析的拉普拉斯金字塔分解结构的融合算法。利用图像的金字塔分解，还能分析图像中不同大小的物体。同时，通过对高分辨率的下层进行分析所得到的信息还可能用于指导对低分辨率的上层进行分析，从而大大简化分析和计算。由于本文的图像融合方法符合复杂环境中的自然现实条件，与其他现有图像融合方法相比，具有融合效果好、细节丰富等特点。

　　4.1多源图像空间参数求解对多源图像进行融合，需要计算图像相对参数变换矩阵，并将不同视场的图像变换到同一个坐标系中。

　　4.2多源图像目标识别进行目标识别时，首先要进行数据集的标注。对于张采集到的数据集图像，采用标注代码选择矩形区域，将背景区域的label定义为、目标的区域label为;分类构成一个有一定规模的用于训练深度学习模型的训练集和验证集，实现对目标的识别;数据集的数量至少为12000张。数据标注后进行数据训练，利用标注好的数据集对目标分类模型进行训练;实时采集可见光图像与红外图像，并进行融合，得到融合后的图像。

　　5实验结果

　　本文的图像采集装置采用锐尔威视公司的全瑞视讯可见光相机，采用菲力尔公司的XAIR2非制冷热像仪。计算机硬件采用I77700处理器，主频为2.80G，硬盘大小为1T，用该计算机对一帧图像进行目标识别算法计算只需0.1左右。

　　6结论本文提出一种基于多源信息融合的智能视觉感知方法，该方法对多个传感器融合得到的大数据图像进行学习和训练，从而提高目标识别的能力。基于多维图像融合的目标识别技术是将多波段融合图像大数据进行标注、训练学习，用来自动识别出图像中的多个目标。对舰船目标的实验结果表明本文算法能够实现对融合目标的精确识别。通过基于多维图像融合的目标识别技术可以满足军用光电系统的多项需求，解决对外部场景的自动化、智能化感知能力。

　　参考文献(References)

　　[1]EE，ARKFastroaddetectionbyCNNbasedcameralidarfusionandsphericalcoordinatetransformation[J].IEEETransactionsonIntelligentTransportationSystems，2021，2258025810

　　[2]AVALIERE，OIA，AGGESE，etal.SemanticallyenhancedUAVstoincreasetheaerialsceneunderstanding[J].IEEETransactionsonSystems，Man，andCybernetics:Systems，2019，49:555567.

　　[3]王芳，王海晏，寇添，等多维特征点空间的红外弱小目标检测方法[J].应用光学，2021，41:12681276.ANG，ANG，OU，talMultidimensionalfeaturepointspaceinfrareddimtargetdetectionmethod[J].JournalofAppliedOptics，2021，):12681276(inChinese)

　　[4]牛畅，尹奎英，黄银和无人机对地目标自动检测与跟踪技术[J].应用光学，2021，41:11531160.IU，IN，UANG.AutomatictargetdetectingandtrackingtechnologybasedonUAVgroundtargetimages[J].JournalofAppliedOptics，2021，):11531160.(inChinese)

　　[5]高文静，杨预立，邢强，等基于目标运动的复眼式双目视觉测距法[J].应用光学，2020，41:571579.

　　作者：李良福，陈卫东，高强，许开銮，刘轩，何曦，钱钧