基于数据筛选的无人机测绘数据异常检测

　　摘 要：为降低无人机测绘数据异常检测的误检率、漏检率，缩短检测时间，文章提出一种基于数据筛选的无人机测绘数据异常检测方法。采用支持向量机对无人机测绘数据进行数据流分块、竖向规范化处理及时间切片处理等预处理;基于卷积神经网络分析数据确定数据潜在规律;采用无监督聚类算法对数据进行聚类，利用滑动窗口处理得到数据流簇心因子并进行聚类;根据判断标准对异常数据分块处理，确定是否存在异常因子;采用重叠累加值计算方法对异常数据点进行筛选，完成无人机测绘数据异常检测。实验结果表明：与传统卷积神经网络方法相比，采用该方法对异常数据检测，其误检率降低了约 11%、漏检率降低约 8.1%，并且检测时间缩短了 11.3 min。

　　关键词：无人机测绘;异常数据;支持向量机;卷积神经网络;簇心因子;滑动窗口

　　无人机测绘综合了无人飞行器、遥感传感器、通信和图像处理等多种技术，以实时获取目标区域信息、快速进行数据处理和绘图为主要目的[1]。这种方法运行成本低、风险小，且数据采集周期相对较短，已被广泛应用于相关领域。无人机测绘生成的飞行数据具有快速、实时等特点[2]。采用此技术获取的单维特征流数据主要反映被测系统的某一状态信息，然而多维数据库中异常数据是各维度信息综合作用的结果，能够反映无人机(unmannedaerial vehicle，UAV)的实际情况，具有更高的参考价值[3]。

　　目前，基于无人机测绘的异常检测算法已经被广泛应用，但大多算法不能满足无人机测绘的实时检测需求。为此，本文提出一种基于数据筛选的无人机测绘数据异常检测方法。实验结果表明：与传统卷积神经网络方法相比，该方法降低了检测的漏检率与误检率，并缩短了检测时间。该检测方法能够满足无人机测绘中的异常数据检测需求，可实际应用到异常数据检测中。

　　1 无人机测绘过程中异常数据挖掘

　　在异常数据检测过程中，须预先对无人机测绘过程中产生的相关数据进行挖掘。与其他数据挖掘技术相比，支持向量机是一种监督式的数据挖掘方法，其对样本的依赖性较小，对小样本、高维数据等分类具有较好的应用效果[4]。为此，本文将支持向量机应用到无人机测绘数据挖掘中。在上述数据分类的基础上，对无人机测绘过程中产生的数据流进行预处理。即对无人机测绘异常数据进行数据流分块、竖向规范化处理与时间切片处理，便于对无人机测绘数据潜在规律的分析。

　　1)数据流分块。由于无人机测绘过程中产生的数据流可看作是一系列无限的点[6]，其存储相对较难，为此将其划分为数据块的形式。将数据块的大小定义为 ，将数据块划分为若干类，并对其进行标准化处理。2)竖向规范化处理。由于采集的数据存在属性差异，导致其属性难以得到合理的调配。

　　2 无人机测绘中异常数据潜在规律分析

　　在上述预处理后，对数据潜在规律进行分析。此部分采用卷积神经网络进行分析处理。该方法的局部特征提取能力较强，能够降低网络的计算复杂度[12 − 13]。其挖掘过程如下。步骤 1，设置输入层。输入层是整个网络的起始端[14]，是整个网络的输入部分，能够对一维数据或者二维数据进行挖掘。步骤 2，建立激励层函数。步骤 3，建立池化层。通过该环节将数据进行压缩，利用池化窗口生成的值生成周围区域的统计量。步骤 4，建立全连接层。该层主要在计算过程中提供输送信号的功能，将数据的特征值进行连接，并连接成一个长向量。步骤 5，反向传播。

　　3 无人机测绘过程中异常数据检测实现

　　3.1 异常数据分类

　　通过上述计算能够获取所有数据的潜在规律，在此基础上，对异常数据进行分类处理。在无人机测绘过程中，较多因素都会引起异常，从而产生异常数据[16]。为此，对异常数据进行分类。由于无人飞行器内有较多传感器，因此产生异常数据的因素较多，不仅能产生异常数据，而且需要及时发现异常数据。为提高检测效率，对所生成数据进行聚类，本文采用无监督聚类算法。当数据流到达时，该算法能及时更新，并对数据进行实时聚类。对数据进行相似性分类，将相似的分类成数据簇[17]。在实际计算过程中，主要包括 2 个步骤：首先测量数据与数据之间相似性，然后利用准则函数对结果进行聚类分类[18]。

　　3.2 异常数据检测实现在上述数据处理的基础上，对异常数据检测，具体步骤如下。步骤 1，由于无人飞行器测绘所产生的数据是飞行数据，即时间序列数据，因此需要对以上聚类后的数据进行划分，并将其划分为时间序列数据，从而得到各时间序列变化情况，并将变化情况插入时间序列数据中，形成相应编码数。步骤 2，生成数据存储在模式库中。该模式库将特定的生成模式与自体发生相匹配，并将其视为合成检测器[19]。

　　4 实验分析

　　本文通过实验来验证该方法是否符合设计要求。同时，为检验该方法的应用效果，将该方法与传统基于卷积神经网络的异常数据检测方法进行了比较。

　　4.1 实验数据来源及实验环境

　　实验在 Windows7 操作系统下进行，选用 Intel(R) Core (TM)i5 M 520 作为 CPU，其内存频率较快，可以达到 2.4 GHz，内存 8 GB。所用实验数据集通过高斯分布获取，这些数据集共有 1600 个数据点，其中包含 1500 个正常数据点，100 个异常数据点。

　　4.2 实验指标

　　异常检测的实时性也是对比检测方法性能的一个重要指标。

　　4.3 实验结果分析

　　对比卷积神经网络方法与本文方法的误检率。本文的异常数据检测方法的误检率相比卷积神经网络方法，平均降低了约 11%。本文方法误检率低是由于本文方法在数据流上进行了分块和分类处理，并对处理后的数据进行了综合聚类分析。常规检测方法受数据集干扰的影响较大，有些异常数据点在正常数据波动范围外，导致其误检率较高。对比卷积神经网络方法和本文方法的漏检率。

　　本文方法的漏检率相比卷积神经网络方法的平均降低了约 8.1%。常规卷积神经网络方法检测漏检率高的原因在于异常数据的幅度不在正确的数据范围之内，且往往以片断形式出现，用常规方法进行标记时，存在较大的漏检风险。本文的异常数据检测方法是通过详细的检测流程实现对异常样本的有效检测，从而降低了漏检现象。最后，对比卷积神经网络方法与本文方法的检测时间。可以看出，卷积神经网络方法在多个实验中所需检测时间均高于本文方法，最多相差 16 min。本文方法的整体检测时间平均缩短了 11.3 min 左右。本文的异常数据检测方法不仅可以降低误检率和漏检率，而且可以提高检测的实时性。

　　5 结束语

　　本文对无人机测绘过程中的异常数据检测方法进行了设计，并通过实验对该方法进行了验证。该方法可为相关测绘领域的异常数据检测提供实用的解决方案。尽管本次研究取得了一定成果，但无人机测绘的数据范围比较广泛，在未来工作中可强化分析数据与数据之间的关联特征，选择融合不同的检测方法，从而实现多种异常检测方法的优势互补。

　　参考文献：

　　[1] 孙新博, 李英成, 王恩泉, 等. 一种无人机视频影像快速配准方法[J]. 测绘通报, 2019(6): 85 − 88.

　　[2] 任丽艳, 李英成, 肖金城, 等. 测绘无人机灾害现场多源数据集成与智能服务[J]. 测绘科学, 2020, 45(12):143 − 148.

　　[3] 张欣欣, 王双亭, 李英成, 等. 轻小型无人机飞控测姿数据辅助测图精度分析[J]. 测绘科学, 2019, 44(5):102 − 109.

　　[4] 梅御东, 陈旭, 孙毓忠, 等. 一种基于日志信息和CNN-text 的软件系统异常检测方法[J]. 计算机学报,2020, 43(2): 366 − 380.

　　[5] 连鸿飞, 张浩, 郭文忠. 一种数据增强与混合神经网络的异常流量检测[J]. 小型微型计算机系统, 2020,41(4): 116 − 123.

　　[6] 徐光南, 高智勇, 梁艳杰, 等. 采用压缩感知的流程工业异常监测数据检验与修复方法[J]. 西安交通大学学报, 2020, 54(2): 59 − 70.

　　选自期刊《西华大学学报(自然科学版)》第 41 卷第 4 期

　　作者信息：张振军(青海汉图测绘科技有限公司， 青海 西宁 810001)