轨迹分类是利用目标运动轨迹识别出目标类型的技术。如何从轨迹数据中提取出可分性好的轨迹特征一直是轨迹分类的研究重点。本论文提出了基于神经网络的轨迹嵌入方法,从轨迹数据中提取可分性较好的轨迹特征。该方法首先从轨迹数据中提取局部和全局特征,组成高维度的特征向量;然后将这些高维度向量带入瓶颈神经网络(bottleneck NN, b-NN),得到低维度的超向量,称为t-vector。因为b-NN将高维度的特征向量投影到低维度的“通用坐标”空间中,对特征向量进行了校准和压缩,所以t-vector在超向量空间中具有较低的维度和较好的可分性。实验表明,t-vector能够提升分类模型5%以上的准确率,并使其检测代价值(detection cost function, DCF)较低,有效提高了飞行目标轨迹分类的性能。 Trajectory classification is a technique which classifies the objects based on their trajectory. The key of trajectory classification is to find the discriminative features that better dicriminate the class. This paper proposes a trajectory embedding method based on neural network to extract the discriminative features from trajectory data. This proposed method extracted the local and global features having high demension from raw trajectory data at first, and then obtained the low-demension supervector named t-vector using the bottleneck nerual network (b-NN). Due to the b-NN maps the high-dimension vectors into a low-deminson “common coordinate” space, the t-vector had low deminson and good discrimination when doing similarity computations in the supervector space. The experimental results shown the classification model with t-vector obtained more than 5% accuracy, and obtained lower detection cost function (DCF), which improved the performance of the trajectory classification.
轨迹分类是利用目标运动轨迹识别出目标类型的技术。如何从轨迹数据中提取出可分性好的轨迹特征一直是轨迹分类的研究重点。本论文提出了基于神经网络的轨迹嵌入方法,从轨迹数据中提取可分性较好的轨迹特征。该方法首先从轨迹数据中提取局部和全局特征,组成高维度的特征向量;然后将这些高维度向量带入瓶颈神经网络(bottleneck NN, b-NN),得到低维度的超向量,称为t-vector。因为b-NN将高维度的特征向量投影到低维度的“通用坐标”空间中,对特征向量进行了校准和压缩,所以t-vector在超向量空间中具有较低的维度和较好的可分性。实验表明,t-vector能够提升分类模型5%以上的准确率,并使其检测代价值(detection cost function, DCF)较低,有效提高了飞行目标轨迹分类的性能。
轨迹嵌入,轨迹分类,轨迹特征提取,瓶颈神经网络
Lei Lei
The 10th Research Institute of China Electronics Technology Corporation, Chengdu Sichuan
Received: Sep. 24th, 2022; accepted: Oct. 20th, 2022; published: Oct. 27th, 2022
Trajectory classification is a technique which classifies the objects based on their trajectory. The key of trajectory classification is to find the discriminative features that better dicriminate the class. This paper proposes a trajectory embedding method based on neural network to extract the discriminative features from trajectory data. This proposed method extracted the local and global features having high demension from raw trajectory data at first, and then obtained the low-demension supervector named t-vector using the bottleneck nerual network (b-NN). Due to the b-NN maps the high-dimension vectors into a low-deminson “common coordinate” space, the t-vector had low deminson and good discrimination when doing similarity computations in the supervector space. The experimental results shown the classification model with t-vector obtained more than 5% accuracy, and obtained lower detection cost function (DCF), which improved the performance of the trajectory classification.
Keywords:Trajectory Embedding, Trajectory Classification, Trajectory Feature Extraction, Bottleneck Nerual Network
Copyright © 2022 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
轨迹分类是一种利用目标轨迹识别目标类型的技术,应用于行为习惯挖掘、交通管理、船只航行监控等领域,为辅助完成疏导交通拥堵,优化交通调度、海上预警等任务 [
目标轨迹是轨迹分类任务的处理对象,通常由GPS、北斗、雷达等定位系统产生,由一组和时间相关的目标空间位置数据组成。由于轨迹数据结构简单,因此如何从轨迹数据中提取出可分性好的轨迹特征,以支撑轨迹分类任务是轨迹分类研究的重点和难点 [
最早的轨迹特征提取算法由Lee提出,称为TraClass [
为了同时提取飞行器的空间信息和时间信息,研究者提出了两种基于统计学的轨迹特征:局部特征 [
随着机器学习技术的发展,神经网络结构不仅用于完成识别、分类任务,也用生成数据特征。这种利用神经网络结构从数据中提取特征的技术称为嵌入技术 [
为了减弱飞点对轨迹局部和全局特征的影响,本论文提出了一种基于神经网络的轨迹嵌入方法。该方法首先从轨迹中提取出局部和全局特征,组成高维度的特征向量;然后将这些高维特征向量带入b-NN得到低维度的超向量,称为t-vector。由于b-NN将高维特征向量投影到低维度“通用坐标”空间,对特征向量值进行校对和压缩 [
为了从飞行器轨迹中提取有效的轨迹特征,学者提出了两种基于统计的特征提取方式:局部特征提取和全局特征提取。
局部特征提取分为分段和特征计算两个部分。最常用轨迹分段方法由Dodge提出 [
瓶颈神经网络(bottleneck nerual network, b-NN),如其名所示,是一种带有瓶颈层的神经网络,用于完成特征提取任务,最早由google工程师们提出,用于从语音倒谱中生成d-vector和s-vector,提高了语义识别、声纹识别的性能。后来,b-NN又应用于水文数据、雷达信号和医学数据的特征提取任务中 [
b-NN由输入层,输出层,若干隐层和瓶颈层构成。隐层结构由具体任务决定,可以为全连接层和可以为卷积层。输出层为softmax后验概率,代表输入数据的类型。瓶颈层的节点比隐层节点少得多,用于维度压缩和生成特征。它的位置不固定,若靠近输入层,那么特征表征数据个体特性;若靠近输出层,那么特征表征数据类型特性 [
在实际运用中,受到定位环境和定位设备的影响,得到的轨迹中含有大量的飞点(定位错误点),从而干扰特征值。因此,本论文提出基于嵌入技术的特征提取法,以得到鲁棒性较好的轨迹特征。该方法流程如图1所示。
预处理的作用是取出轨迹中的冗余点和异常点。假设一条航迹定义为 T = { p 1 , p 2 , ⋯ , p N } ,其中 p i = ( g i , t i ) 为轨迹中的点, g i 为轨迹点的空间信息如经度、纬度和高度等; t i 为轨迹点的时间。在预处理中,首先检查 g i 。比如经度和纬度必须要满足经度、纬度和高度要在合理范围之内。然后计算相邻点的速度 v i 和距离 s i :
s i = | p i + 1 − p i | (1)
v i = s i t i + 1 − t i (2)
如果 s i 小于阈值则认为 p i 冗余点,需要剔除掉。如果 v i 不再合理范围内(如10 m/s或者1000 m/s)则认为 p i 为异常点,需要剔除。
图1. 轨迹嵌入流程
轨迹经过预处理后,就可以用于提取局部和全局特征。提取方式如图2所示:
图2. 局部和全局特征提取
首先计算速度、加速度、爬升量、转弯角四种运动参数用于划分轨迹,于是得到16种轨迹类型。根据每种类型将轨迹划分成若干轨迹段,然后基于这些轨迹段计算每种轨迹类型的段长度均值、标准差,类型数量和类型百分比作为局部特征(图中表示为 l i , 1 , 2 , ⋯ , m ),得到 m = 64 个局部特征。
全局特征(图中表示为 g i , i = 1 , 2 , ⋯ , n )从整段轨迹中提取得到。本论文计算速度、加速度、爬升值、转弯角、蜿蜒度5种运动系数用于生成全局特征。每种运动系统对应的全局特征为:
均值;
标准差;
最大值、最小值;
模:即出现平率最多的取值范围;
四分位:下四分位和上四分位;
四分位距离。
偏斜度 S k :
S k = E [ ( X − μ σ ) 3 ] (3)
其中,X为运动参数, μ 为运动参数的均值, σ 为运动参数的方差。
峰度 K u :
K u = E [ ( X − μ σ ) 4 ] − 3 (4)
其中,X为运动参数, μ 为运动参数的均值, σ 为运动参数的方差。
变化系数 C V :
C V = μ σ (5)
自相关系数A:
A = C 1 C 0 (6)
其中,
C k = 1 N ∑ i = 1 N − k ( x i − μ ) ( x i + k − μ ) (7)
其中, x i 为第i运动参数, μ 为运动参数的均值, σ 为运动参数的方差。另外,还采用了Wang等人 [
本论文采用b-NN将118维的向量映射成32维的t-vector完成轨迹嵌入。该b-NN的结构如图3所示。
该b-NN有7层全联接层隐层,每层有128个节点。为了得到分类性能更好的嵌入向量,瓶颈层位于输出层和最后一层隐层之间,包含16个节点。b-NN的最后一层为分类层,包含四个节点,分别表示客机、无人机、鸟类和其他目标。训练时,采用所有支撑数据进行训练,学习率为0.01。生成t-vector时,去掉最后一层输出层,将每条轨迹对应的局部和全局特征作为输入,然后输出一个t-vector。即每个t-vector对应一条轨迹样本。
图3. b-NN网络结构
论文将t-vector用于轨迹分类任务,提出一种轨迹分类模型,其流程如图4所示。
图4. 轨迹分类流程
轨迹分类流程分为两个部分:训练部分和评估部分。在训练部分,训练数据(分类已知)代入轨迹嵌入过程得到t-vector,然后用t-vector训练由支撑向量机(support vector mechine, SVM),随机森林(Random Forest, RF)和XGBoost(XG)组成的三人表决器模型(Three-voter model, TVM)。在评估阶段,测试数据(分类未知)输入轨迹嵌入过程得到t-vector,然后将t-vector代入训练好的TVM得到最后的分类结果。
实验采用的数据集为公开领域收集的客机、鸟类、无人机和其他飞行器轨迹数据,各2万条航迹。该数据中,每行代表一个航迹点。每行包含6列,分别为ID、Lat、Lon、Alt、T和Class。ID为航迹标识,即同一ID的航迹点属于同一个飞行目标的同一航迹;Lat和lon两项分别为经度和纬度,单位为度;Alt为高度,单位为米;T为系统时间即获取经纬度高度信息的时间,单位为秒。Label为目标类型标识,为了方便训练,将客机、鸟类、无人机和其他飞行器打标为“1000”、“0100”、“0010”和“0001”。
首先将所有数据作为支撑集训练b-NN,然后将数据按照8:2的比例划分成训练集和测试集,用于训练和测试轨迹分类的性能。为了评估测试轨迹的分类性能,采用准确率(ACC)和检测代价函数值(DCF)最为评判标准。准确率为分类正确的样本量和总样本量的比值。DCF定义为:
DCF = α F 1 + ( 1 − α ) F 2 (8)
其中, α 为权重,设为0.5。 F 1 为正确接收率,即正确分类正例样本量和正例样本量的比。 F 2 为正确拒绝率,即正确分类反例样本量和反例样本量的比。为了计算DCF,本论文分别取1万条客机、飞鸟、无人机和其他飞行器航迹为正例,取剩下分类的1万条样本航迹作为反例。例如,当去1万条客机航迹为正例时,取飞鸟、无人机和其他飞行器共1万条航迹为反例。因此,我们将得到4个DCF: DCF 1 、 DCF 2 、 DCF 3 和 DCF 4 ,分别表示客机、鸟、无人机和其他飞行器为正例时得到的DCF。
实验测试用于轨迹嵌入的b-NN性能。实验中包含不同隐层的b-NN用于生成t-vector,采用上述四种飞行目标的轨迹进行实验。实验中,b-NN根据飞行目标的轨迹数据生成t-vector,由SVM、RF、XG组成的三人表决模型(Tree-voters model, TVM)分析t-vector给出飞行目标的类型。实验结果如图5所示。
图5. 不同隐层对轨迹嵌入的影响。(a) 准确率;(b) 时耗
图5(a)中显示,随着隐层数量的增加,TVM的准确率逐步提升。当隐层数量达到7层之前,准确率提升速度较快,而达到7层之后,准确率提升趋于平缓。这说明较多隐层有利于提升t-vector的可分性,从而提高分类准确率,但是隐层增加也会增加生成t-vector的时间,如图5(b)所示,因此拥有7层隐层的b-NN可以兼顾准确率和时耗。
下面将b-NN的隐层固定为7层,然后移动瓶颈层(bottlenecl layer, BL)的位置,实验结果如图6所示。
图6. 瓶颈层位置对轨迹嵌入的影响
图6中可以看出,当BL位于前5层时,TVM的准确率较低,即TVM的分类性能较差;当BL位于后3层时,TVM获得最高的准确率,即TVM的分类性能较好。这说明,BL靠近b-NN尾部能得到可分性更好的t-vector。这是因为当BL靠前(即隐层在第1~5层)时,生成的t-vector带有更多的轨迹个体信息,而BL靠后(即隐层在第6~8层)时,生成的t-vector带有更多的轨迹类型信息。由于分类任务的目标是分类轨迹类型,所以靠后的BL能够提升表决器的性能。
实验测试t-vector的性能。对比对象为TraClass、局部特征(local feature, LF)、全局特征(global feature, GF)。为了评估特征性能,采用SVM、RF和XG组成的TVM对上述4种轨迹特征分类。实验结果如表1所示。
特征 | ACC(%) | DCF1 | DCF2 | DCF3 | DCF4 |
---|---|---|---|---|---|
TraClass | 80.3 | 0.073 | 0.131 | 0.139 | 0.133 |
LF | 84.7 | 0.081 | 0.086 | 0.089 | 0.091 |
GF | 85.0 | 0.075 | 0.078 | 0.083 | 0.081 |
t-vector | 90.1 | 0.051 | 0.054 | 0.058 | 0.062 |
表1. 轨迹特征的性能
表中显示,采用TraClass作为特征时,TVM的准确率最低而DCF2、DCF3和DCF4最高。这表明TraClass不适合用于分类飞行目标轨迹分类。另外,TraClass在文献 [
本实验测试分类模型的性能,将提出的TVM和SVM、RF、决策树(decision tree, DT)、贝叶斯网络(Bayes network, BN)和多层感知机(multilayers perceptron, MLP)。这些分类模型常用于完成车辆、动物、台风、飞行目标等轨迹分类任务实验中,b-NN用于根据轨迹生成t-vector,然后将t-vector带入上述5种分类模型,完成飞行目标轨迹分类。实验结果如表2所示。
特征 | ACC(%) | DCF1 | DCF2 | DCF3 | DCF4 |
---|---|---|---|---|---|
SVM | 85.3 | 0.073 | 0.075 | 0.080 | 0.079 |
RF | 83.9 | 0.081 | 0.090 | 0.089 | 0.092 |
XG | 88.7 | 0.063 | 0.067 | 0.070 | 0.071 |
BN | 82.6 | 0.091 | 0.010 | 0.016 | 0.012 |
MLP | 90.4 | 0.050 | 0.053 | 0.060 | 0.057 |
TVM | 90.1 | 0.051 | 0.054 | 0.058 | 0.062 |
表2. 不同分类模型的性能
表显示MLP和TVM获得最高的ACC和最低的DCF。表明MLP和TVM的分类性能最优。然而,相对于TVM,MLP训练时长较长,且对硬件要求较高。另外,SVM、RF和XG的ACC均比TVMd的低而它们的DCF均比TVM高。这是因为,TVM综合考虑SVM、RF和XG三个分类器的输出结果,如果其中立个分类器的结果有误,其余两个分类器可以其纠正错误使得最终结果正确。换句话说,TVM的容错性比单独的分类模型要好。
轨迹分类是一种利用目标轨迹识别目标类型的技术。飞行目标轨迹分类是轨迹分类的一种,通常应用于机场附近空中交通管理领域,及时识别出离客机较近的飞行目标,辅助相关人员采取措施阻止相撞事故,保障客机起飞和降落时的安全。从轨迹中提取出优质特征,以支撑目标分类任务是轨迹分类的研究重点和热点。针对飞行目标轨迹,研究者提出局部特征和全局特征提取方式,在轨迹质量较好时能够从轨迹中提取出优质的特征。但是这两种方法基于数理统计,容易受到飞点干扰。为了减弱飞点对轨迹特征的干扰,本论文提出了一种基于瓶颈神经网络的轨迹嵌入方法。该方法先从目标轨迹中得到高维度的局部–全局特征向量,然后利用b-NN结构根据高维度特征向量生成t-vector,完成轨迹嵌入。由于b-NN能将局部–全部特征向量映射到低维度“通用坐标”空间中,对特征值进行了校准并降低了特征向量维度,使得t-vector具有较低维度和较好可分性。为了实现轨迹分类,本论文还将SVB、RF和XG构成TVM,和独立分类模型相比,TVM具有较好容错性。
未来的研究分为两个方向进行。一方面着重研究轨迹嵌入,将对抗网络、自动编码机等高性能生成网络运用到轨迹嵌入中。另一方面着力研究分类器,性能跟好的分类网络模型。
首先感谢编辑和评审专家对本论文的编辑和点评指导,其次感谢杜晓彤对本论文提供的实验数据,最后感谢妻子夏向玲对我科研工作的理解和支持。
四川省科技重大专项(2018GZDZX0012)。
雷 磊. 基于瓶颈神经网络的轨迹嵌入技术及其在飞行目标轨迹分类中的应用Trajectory Embedding Based on Bottleneck Neural Network and Its Application on Trajectory Classification of Aircrafts[J]. 计算机科学与应用, 2022, 12(10): 2384-2394. https://doi.org/10.12677/CSA.2022.1210244
https://doi.org/10.1109/BRACIS.2019.00141
https://doi.org/10.1080/15568318.2019.1570403
https://doi.org/10.1016/j.trc.2018.10.021
https://doi.org/10.1109/EnT47717.2019.9030537
https://doi.org/10.1080/13658816.2019.1707835
https://doi.org/10.14778/1453856.1453972
https://doi.org/10.1145/3167132.3167225
https://doi.org/10.1103/PhysRevE.100.032410
https://doi.org/10.1109/TKDE.2018.2849727
https://doi.org/10.1007/978-981-15-8335-3_58
https://doi.org/10.21437/Interspeech.2020-1630
https://doi.org/10.1109/TASLP.2021.3134566
https://doi.org/10.1109/TIFS.2019.2891237
https://doi.org/10.3390/w12020590
https://doi.org/10.1007/s00039-019-00499-z
https://doi.org/10.1145/3307339.3342148
https://doi.org/10.1016/j.specom.2009.08.009
https://doi.org/10.1109/ICASSP.2019.8683443
https://doi.org/10.1016/j.compenvurbsys.2009.07.008
https://doi.org/10.3390/ijgi6020057
https://doi.org/10.3390/s18113741
https://doi.org/10.1109/TPAMI.2019.2909031
https://doi.org/10.1109/ICASSP.2014.6854363
https://doi.org/10.3390/rs11060640