在M个训练样本 { x j } 1 M ⊂ X 中 ，每个单独通道d的特征层 x j d ∈ R N d 具有不同大小的分辨率。其中样本空间x表示为 R N 1 × ⋯ × R N D ， N d 为 x j d 中的空间样本数量。使用插值模型 J d ，将特征映射到目标连续空间域 t ∈ [ 0 , T ) 。

J d { x d } ( t ) = ∑ n = 0 N d − 1 x d [ n ] b d ( t − T N d n ) (1)

1) 式中： b d 是一个周期为T > 0的插值核， J d { x d } 插值特征层，为连续周期函数。当 J { x } ( t ) ∈ R N D 时， J { x } 表示插值特性映射。

ECO算法使用了基础滤波器中贡献最大的一组滤波器C (C < D) f ( 1 ) , ⋯ , f ( c ) ，替代了基础算法C-COT中为每一个特征通道单独训练出的滤波器 f ( 1 ) , ⋯ , f ( d ) ，因式卷积算子如下：

S p f { x } = P f ∗ J { x } = ∑ d = 1 D P d , c f ( c ) ∗ J d { x d } = f ∗ P T J { x } (2)

2) 式中：P为 D × C 的系数矩阵， P T 为线性降维算子， ∑ d = 1 D P d , c f ( c ) 是特征层为C的滤波器的线性组合， P d , c 是对 f ( c ) 进行滤波学习的系数。分解卷积算子可以使用不同的方式训练滤波器f和矩阵P。通过这个函数，所有的特征通道的卷积响应值被求和，得到最终定位的置信度。

在训练过程中，样本的标签也被映射为 y i ∈ L 2 ( T ) ，以此来保持空间各区域的采样点与标签一一对应。将 S f { x j } 应用到训练样本 x j 后得到期望输出的结果标签 y i 。滤波器f通过m个训练样本对 { ( x j , x j ) } 1 m ⊂ x × L 2 ( T ) 来最小化(3)式函数。

E ( f ) = ∑ j = 1 m α j ‖ S f { x j } − y j ‖ 2 + ∑ d = 1 D ‖ ω f d ‖ 2 (3)

3) 式中：j代表样本数，权重 α j 决定了每一个训练的样本在训练过程中所占权重，正则化项对应着背景特征的空间区域，能够控制滤波器f在任意尺寸大小的图像区域进行训练， ω 被赋予了一个较大的值进行惩罚约束，对应的是目标的空间区域。

首先，算法提取给定区域的目标特征，提取的特征包括颜色特征和梯度方向直方图特征，同时利用余弦窗函数来缓解边界效应。然后将获取到的特征进行卷积运算然后映射到连续的空间域中，后采用主成分分析方法对特征降维，提取模型中能量高的信息部分，至此完成ECO算法的初始化 [ 14 ]。后续的跟踪过程中将处理好的目标特征与滤波器进行卷积操作得到滤波检测得分，再将特征加入到样本空间模型进行更新。

使用牛顿法对响应得分进行优化，得到跟踪目标的估计位置，并进行下一帧的跟踪操作。每隔 N s 帧对滤波器进行更新。ECO算法的流程如图2所示。

图2. ECO算法流程图

在基于相关滤波目标跟踪算法中的响应图计算公式为：

G = F t − 1 ⊙ ω ¯ (4)

在(4)式中， ω ¯ 为 ω 的傅里叶变换。 ω 为从目标搜索区域中提取到的第t帧的特征。 F t − 1 为第 t − 1 帧的滤波模板， F t − 1 是由历史各帧的不同滤波模板融合得到。跟踪算法根据响应图G的最大值确定当前被跟踪目标的中心位置 [ 15 ]。

在以往的相关滤波算法中并没有对不同时期的历史滤波模板 F C 1 , F C 2 , ⋯ , F C t − 2 , F C t − 1 区别处理 [ 16 ]。本文通过分析发现，不同时期的历史模板对实现准确跟踪的贡献不同。那么对不同时期的历史模板执行不同的操作可以影响跟踪的结果。例如，当跟踪目标开始受到光照因素影响时，跟踪目标的状态发生变化，根据状态的变化改变提升模板的更新频率，避免固定帧数更新造成目标关键信息丢失，提升算法的鲁棒性。

为了能更好地判断跟踪目标的状态变化，在本文的策略中采用了归一化处理后的加权峰值旁瓣比 W P S R ( t ) 的值来衡量跟踪目标在第t帧的状态 [ 17 ]。其中 W P S R ( t ) 为第t帧的滤波模板响应图的加权峰值旁瓣比。取得连续帧数的 W P S R ( t ) 可以直观地反映跟踪目标的状态变化。如图3中所示，未遮挡情况下的响应图的波峰明显比遮挡情况下的响应图平滑。

图3. 被跟踪目标处于不同状态时的响应图

其中， W P S R ( t ) 的取值范围为 [ − 1 , 1 ] 。 W P S R ( t ) 的计算公式为：

W P S R ( t ) = max ( R t ) max ( R t ) − m e a n ( R ⌢ t ) S t d ( R ⌢ t ) (5)

在公式(5)中， R t 为第t帧的响应图， max ( R t ) 代表求出第t帧的最大响应值， R ⌢ t 为去除中心位置 12 × 12 像素范围的响应图， m e a n ( R ⌢ t ) 代表响应的平均值， S t d ( R ⌢ t ) 代表第t帧的响应图的标准差。 max ( R t ) − m e a n ( R ⌢ t ) S t d ( R ⌢ t ) 为峰值旁瓣比(Peak-to-Sidelobe, PSR)， max ( R t ) 相当于旁瓣比的权重，因此公式(5)可以认为是加权峰值旁瓣比。

如图4展示了目标跟踪算法在Car2的跟踪过程中 W P S R ( t ) 值的变化趋势。在Car2视频数据中跟踪目标为位于图片左侧的白色车辆。从图4中可以看出由于第35帧和第239帧中的目标没有进入阴影区域且跟踪得较为准确，因此第35帧和第239帧的WPSR值较高(第35帧的值为0.92，第239帧的值为0.93)。在第71帧和第390帧中的目标皆进入阴影区域，因此第71帧和第390帧的WPSR值较低(第71帧的值为0.77，第390帧的值为0.81)。由于第35帧和第239帧在未被遮挡的情况下的WPSR值远大于第71帧和390帧的WPSR值，因此若将WPSR值作为跟踪目标状态变化与否的依据可以有效地提升滤波模板的鲁棒性。类似第71帧和第390帧这类处于变化状态的帧中有效信息较为稀疏，若采用低频率地更新滤波模板会造成部分有效信息丢失。类似第35帧和第239帧这类帧中有效信息较为丰富，但这类帧的相邻帧相似度很高，若采用高频率地更新滤波模板容易过拟合，且会造成不必要的内存消耗和时间花费。因此，通过上述分析可以得出，在目标跟踪过程中如果该帧的WPSR值较高，则说明跟踪目标状态稳定，滤波模板不需要过多重复的特征信息，如果该帧的WPSR值较低，则说明目标状态不稳定，滤波模板需要更多的特征信息进行更新。

图4. 不同历史模板的WPSR值分析(第35帧和第293帧目标预测准确且无阴影遮挡，第71帧和第390帧目标被阴影遮挡)

在目标跟踪过程中，合理地跟踪目标更新机制对于目标跟踪算法的准确性及鲁棒性有极大的影响。高质量的滤波模板是保证算法性能优异的重要因素之一 [ 18 ]。滤波模板为保证自身准确性需要在跟踪过程中持续进行更新，选择一个合适的节点进行更新策略的调整是保证滤波模板始终具有较高质量的重要环节之一。如图5所示，跟踪的目标状态变化过大，滤波模板需要更加频繁地进行更新。

图5. 目标状态变化大示例

在目标跟踪过程中，当目标的状态变化很大时，目标的外观变化幅度和目标的外观变化概率都将大大提升，此时，若不能及时的对滤波模板进行更新，则极有可能造成滤波模板发生漂移，最终导致跟踪目标失败。当目标的状态变化很小时，目标的外观变化幅度和目标的外观变化概率都保持在一个较低的水准，此时，若采用过于频繁的滤波模板更新频率则容易造成低效信息冗余，从而引起滤波模板的过拟合，最终容易导致目标跟踪算法的鲁棒性大大降低。如图6所示，跟踪的目标状态变化小，滤波模板不需要过多的更新。

图6. 目标状态变化小示例

为了使跟踪算法应对目标状态的变化的瞬息万变，本章根据目标的WPSR值的变化自适应条件滤波模板的更新间隔。在目标跟踪过程中当目标状态变化较大时可以适当地提高滤波模板的更新间隔。在目标跟踪过程中当目标的变化状态较小时可以适当地降低跟踪算法的滤波模板更新间隔。

因此本章通过比较稳定状态下的估计值 W P S R ¯ 和当前帧t的 W P S R t 值来确定当前帧t的更新间隔。当 W P S R t 值大于或等于 W P S R ¯ 值时，则适当增大滤波模板的更新间隔。从而防止滤波模板过拟合进而导致跟踪算法的鲁棒性降低。当 W P S R t 值小于 W P S R ¯ 值时，则适当减小滤波模板的更新间隔。从而防止滤波模板欠拟合导致模板漂移，进而导致跟踪失败。第t帧的更新间隔 N s t 与 W P S R t 值的关系如公式(6)：

N s t = { N t − 1 − ⌈ ∂ ⌉ ,     W P S R t ≥ W P S R ¯ N t − 1 + ⌈ ∂ ⌉ ,     W P S R t < W P S R ¯ (6)

在(6)式中， N t − 1 为第 t − 1 帧时滤波模型更新间隔， ∂ 为间隔更新帧数的标准差。

稳定状态下的 W P S R ¯ 估计值为：

W P S R ¯ = ∑ n = 1 m W P S R m + l (7)

其中 l 为稳定状态下WPSR值的标准差。

在本章中采用了ECO作为基线跟踪算法，融合了基于峰值旁瓣比自适应更新策略的跟踪算法被称为ABPS (Adaptive updating strategy based on peak-sidelobe ratio)。对于本文实验结果，采用的是中心位置误差(CLE，用 E C L E 表示) [ 19 ] 和重叠率(overlapping ratio，用 R O R 表示) [ 20 ] 两种方法进行评估：

E C L E = ( x t P − x G ) 2 + ( y t P − y G ) 2 , (8)

R O R = a r e a ( R t ∩ R ′ t ) a r e a ( R t ∪ R ′ t ) , (9)

在(8)式中， ( x t P , y t P ) 为第t帧的跟踪目标中心位置， ( x G , y G ) 为当前帧跟踪目标的实际中心位置。 R t 为第t帧的跟踪结果所覆盖的区域， R ′ t 为第t帧的实际位置所标注的区域， ∪ 表示区域的合并， ∩ 表示区域的重叠。

在本章实验中，使用的是一次性通过评估方法(OPE)的精确度图及成功率图来评估算法的性能。

图7是算法在视频序列集上的精确度图和成功率图，改进后的算法精确度为79.9%，比原始的ECO算法的精准度提高了3.2%。本文测试的跟踪环境主要包括：快速运动(FM)、形变(DEF)、运动模糊(MB)、相似背景干扰(BC)等 [ 21 ]。在这9种不同跟踪条件下，得出改进后的算法和9种对比算法的精确度和成功率如表1和表2所示。

由表2可以得出，本文提出的算法在9种不同的跟踪环境下，其中有7种情况精度排名为第一，在形变和低分辨率的情况下排名第二，且相较于原ECO算法有所提高。由表3中不同算法的成功率可知，本文提出的算法在不同的跟踪环境下成功率均排名较高，且有6种情况下排名第一，平面外旋转、遮挡和形变的情况下排名第二，且比原ECO算法有所提高。因此改进的算法具有较高的精确度和鲁棒性，能够较好地应对复杂场景情况下的目标跟踪问题。

图7. OTB-100评估的精确度图和成功率图

表1. 不同情况下跟踪算法的精确度

表2. 不同情况下跟踪算法的成功率

表3为本文改进算法与其他几种对比算法的关于中心位置误差及平均重叠率的比较结果。改进后的算法与原ECO算法相比较，平均重叠率提升了3%，中心位置降低提高了9 pixle。因此，本文改进后的算法能够更好地适应目标跟踪过程中的复杂环境变化，提高了跟踪的准确性和鲁棒性。

表3. 9种算法平均重叠率、中心位置误差和速度

在OTB-100序列集中选取了具有代表性的视频序列跟踪数据，如图8所示。本节使用ECO、Staple、CSK、Struck等精度较高算法在不同场景中定性地对比分析跟踪算法的精确度和鲁棒性。

在Skating2视频序列中，算法跟踪的目标是图中黑色衣服的男性滑冰选手，同时在Skating2序列中存在着相似目标干扰等问题。可以看到在第13帧时，由于人物部分重叠原ECO算法产生漂移，与此同时Staple、Struck等框内出现了女性选手。由于50帧前时目标发生重叠情况，后又多次旋转，到第454帧时，只有本文准确定位到目标。因此本文算法能够在相似目标的干扰下保持较高的跟踪精度。

图8. 数据集上部分测试视频的跟踪结果

在Twingings视频序列中，算法需要跟踪的目标是手里的方形盒子。从第95帧开始到150帧，目标由远变近，尺度发生变化，Staple、CSK、Struck的算法没有很好的适应目标的外观尺度变化。在第242帧到第432帧，目标因发生旋转导致外观和尺寸巨大变化，原ECO算法的发生漂移，不能较好地适应新的尺寸和位置。在Biker视频序列第63帧到94帧时目标快速地跳跃到了另一条轨道上，此时视频序列含有快速移动、运动模糊等干扰因素，在目标由面向转为背向时，Staple、CSK、Struck算法发生漂移无法跟踪到目标，只有原ECO算法以及本文提出的算法能较为准确地定位到目标，并且在第94帧时，本文算法的精度较ECO算法更高。因此本文算法能在目标发生运动模糊和形变的情况下准确地跟踪目标。