基于自适应粒子滤波的ASM新技术 Adaptive Particle Filtering for Facial Feature Tracking

设为首页加入收藏期刊导航网站地图

期刊菜单

文章导航

Computer Science and Applicatio n 计算机科学与应用 , 2011, 1, 97-102

http://dx.doi.org/10.12677/csa.2011.13020 Published Online December 2011 (//www.abtbus.com/journal/csa)

Adaptive Particle Filtering for Facial Feature Tracking

Xiaorong Pu, Peng Li, Luping Ji

School of Computer Science and Engineering, Univer sity of Electronic Science and Technology of China, Chengdu

Email: puxiaor@uestc.edu.cn

Received: Aug. 31st, 2011; re vised: Sep. 27th, 2011; accepted: Oct. 15th, 2011.

Abstract: Active shape model (ASM) has been widely used totrack a face from a video sequence. However,

it is usually limited to frontal v iew or the cases of small-scale head movement. ASM may fail in condition of

cluttered background, adverse circumstances and partial occlusion. An enhanced ASM is proposed to meet

those challenges based on particle filtering tracking al gorithm. Experiments demonstrate the effectiven ess and

flexibility of the proposed algorithm in tracking the target objects undergoing significant variation of the

object’s appearance or surrounding illumination .

Keywords: Visual Tracking; Particle Filter; Incremental PCA; ASM

基于自适应粒子滤波的 ASM 新技术

蒲晓蓉，李鹏，纪禄平

电子科技大学计算机科学与工程学院，成都

Email: puxiaor@uestc.edu.cn

收稿日期： 2011 年8月31日；修回日期： 2011 年9月27日；录用日期： 2011 年10月15日

摘要：ASM已经被广泛应用于视频流中的人脸跟踪，但大多局限于头部运动较缓慢的正面人脸跟踪，

很难精确跟踪复杂背景、恶劣光照和部分遮挡条件下的人脸。本文结合粒子滤波预测跟踪人脸，改进

传统 ASM 方法，实现人脸特征点的精确定位。实验表明，该方法能有效提高ASM搜索的精确度和鲁

棒性。

关键词：人脸跟踪；增量PCA；粒子滤波；ASM搜索

1. 引言

人脸跟踪和特征提取是人脸识别和机器视觉的关

键技术。主动形状模型 (Active Shape Model，ASM)是

由 Cootes[1] 等人于1995年提出的一种基于点分布模型

算法，已经被广泛应用于单幅人脸或视频流的人脸特

征提取和跟踪。 ASM基于统计方法，将一系列人脸图

像进行标点训练得到原始形状向量，再进行对齐操作

和 PCA 分析建立形状建模[2]。其中需要设置形状模型

参数，约束其变化范围，确保模型能适应目标形状的

不确定性 [3] 。

ASM 模型的初始化过程非常重要，如果不能准确

定位目标图像中的人脸位置，后续的 ASM搜索过程

将会失败。传统人脸检测技术包括基于肤色 [4] 、Harr

特征 [5] 等方法，大多局限于良好背景、均匀光照和人

脸无遮挡等约束环境，无法检测视频流中快速头部移

动的人脸。为了自动确定跟踪目标，本文方法仅视频

流的第一帧利用人脸自动检测捕获目标 ,获得人脸位

置、大小和旋转等参数，并将人脸的位置作为粒子滤

波人脸跟踪算法的初始化窗口。此后采用粒子滤波方

法定位特定目标的人脸位置，以检测并跟踪复杂背景、

光照变化、局部遮挡，以及快速移动的人脸图像。

ASM 大多采用 PCA方法建立形状模型，需要大

量数据集构建特征基。但利用传统 PCA 不能准确定位

复杂状况下的人脸目标，且无法适应目标特征的最新

变化。本文采用递增 PCA(Incremental PCA, IPCA)方

法构建更新特征空间，保持目标模式的最新表达，以

适应目标本身的变化和周围环境的改变，实现复杂环

蒲晓蓉等  基于自适应粒子滤波的新技术ASM

境下的人脸特征点跟踪 [6]。

本文后续部分将依次介绍 ASM 方法，基于IPCA

的 ASM 人脸跟踪方法和自适应粒子滤波人脸跟踪技

术，描述验证实验，讨论改进 ASM 方法的实验效果。

2. ASM 方法

ASM 是一种基于统计模型的图像处理方法，通过

对具有一定代表性的同类目标图像进行统计建模，以

获得反映目标图像二维形状变化规律的形状统计模

型。 ASM首先对一组标有特征点的图像进行形状建模

和局部纹理建模，然后在搜索过程中不断调节形状和

姿态参数，从而使形状达到最优化。

ASM 需要对一组标有特征点的图像进行形状建

模和局部纹理建模，该过程需要大量的人脸样本作为

训练集。

1) 形状建模(Shape Model)

形状建模旨通过训练多幅图像序列，获得平均形

状、转换矩阵、搜索需要的初始形状和模型约束的相

关参数。主要包括特征点标定、对齐操作和 PCA构建

形状模型三个步骤。

(a) 特征点标定

ASM 算法首先需要对训练集中的每幅人脸图像

进行特征点标定，刻画人脸形状。图像中的每个特征

点都被标注唯一的固定序列编号，训练集中每幅图像

的特征点构成的形状用的向量表示为

21 n



n 11

,,, ,,

xy y x，其中，12

,, ,

x  x表示有

序特征点的

坐标，表示有序特征点的

坐标，表示训练集的大小。

,, yy,

y y

(b )对齐操作

为了获得训练集中模型点坐标的统计特征 , 使不

同样本对应点之间具有可比性，需要消除训练样本大

小、位置等差异造成的影响，即需要进行对齐操作。

由于每个点分布向量具有旋转不变性，一个形状可以

通过旋转、缩放、平移等仿射变换对齐另一个形状，

使得两个形状之间的差异最小。两个形状向量 i

和

的对齐操作可通过平移、缩放、旋转实现，最后求

解变换后的两个形状向量之间的最小距离。

从图 1 中不难发现，经过对齐操作以后，特征点

的分布更加集中。

(a) 对齐操作前

(b) 对齐操作后

Figure 1. Alignment samples

图 1. 样本对齐前后的比较示意

形状对齐操作以后，对样本集进行主成分分析

(PCA) ，可获取样本集在分布空间中的主方向。形状

建模以后，一个形状可以表示为：

b 

XPX 。其

中，是通过 PCA 得到的前维特征向量矩阵

，

是

形变参数，表示任意人脸在特征空间中的投影。为了

约束人脸形状，一般限制 b 的范围为

P tb



 。

2) 局部纹理建模(Profile Model)

第一步，获得每个特征点的局部纹理。比较训练

集中的各图像的某个特定点周围的灰度分布。沿着特

征点法线方向进行像素级灰度值采样。特征点的法线

定义为：当前点的前一个点和后一个点连线的中垂线。

第二步，进行局部纹理建模。将第个样本的第

个特征点记为，采样的第 k 个灰度值记为

i j

p ijk

，则

的

p 2 k1



个灰度层可记为：

蒲晓蓉等  基于自适应粒子滤波的新技术99

ASM

 



12 221

,,... ,

ijij ij ij kijk

ggggg



 .

3) 特征点搜索

通过形状建模和局部纹理建模以后，利用建模获

得的参数对待定位的图像进行目标搜索。

搜索过程中，两个特征点之间的相似度的匹配函

数可用马氏距离 (Mahalanobis Distance)表示，定义为：





T 1

jj jj



ggg gg



  S。其中，

表示第个

特征点的灰度层差分均值，

表示第个特征点的第

个灰度差分值，

j i

为第标记点局部纹理的协方差矩阵。 j

通过迭代不断调整姿势和形状参数，获得每个点

的最佳匹配。不过，这只能使每个点的匹配最优，而

非整体形状匹配最优，即不能保证得到的人脸形状就

是最终的人脸形状。因此，需要对模型进行约束，将

当前搜索的形状投影到模型空间，并约束模型中值

的范围，以保证每个特征点在局部和整体上最优。

3. 基于 IPCA的ASM人脸跟踪

3.1. 递增主成分分析 IPCA (Incremental PCA)

由于目标表观容易受形状、自身反射特性、姿态和

光照等因素影响，需要一个稳定的表观模型来适应这些

因素的影响。可以提前采集目标在各种光照和复杂环境

下的样本，利用 PCA 求解样本的主元方向，并进行降

维。传统 PCA 本质上是在最小均方意义下寻找最代表

原始数据的投影，从而简洁有效地表示原始数据。

IPCAS 利用最新获得的图像更新特征空间，获得的特

征空间能很好地描述图像之间的相似性或差异性 [7] 。

经过光照补偿和去噪等图像预处理后，得到二维

灰度图 [8] 。可以用一个的矩阵dn



1 ,,

I A表示

经预处理的训练图集，存储 1~ 时刻的图像向量，其

中是一个d维向量，代表第帧图像。对矩阵

进

行 SVD 分解：，得到

VU A

的特征值。当一个

维的新观测图像矩阵到达时，可以将其表示 dm

为



，记为

EUE EI







 







A 



 km



维的

方阵，其中 k 为Σ的特征值个数。的SVD分解R R

为，它可在初始化时得到，而不必随目标图

ijR UV

p 





像的更新而更新。于是，





E A的SVD分解可表示为





EUEUV



 





 







 

。

采用方法更新特征基，首先对 SKL

进行

分解得到 U 和

SVD



，然后按下述方法实现

[] EUV







 AA。

1) 获得旧数据和新到达的数据

UV A

；

2) 对





UE 

UER

进行分解得到和，QR E

 R















R SV

 ；

3) 对进行分解；DSV



D T

RU V 





4) 若第三步分解后基向量的个数少于其非零特

征值的个数，则丢弃 U 和





 中多余的特征向量和特征

值；

5) 使得 ','UUEU







 

 。

由上述算法可知，





12 n

II I A和



12 n

II I 

分别表示原始图像和新到达的图像，它们的组合记为





C AB

，分别记

和的样本均值和散射矩阵为B

ABC

II 和，给定

ABC

SSS





I 的SVD分解U和



，

通过 IPCA 方法计算





CI 的SVD分解，得到相应

的和

' U'



。随着新样本数据的到达，更新训练数据

的样本均值和散射矩阵。

3.2. 粒子滤波跟踪

粒子滤波通过寻找一组在状态空间中传播的随机

样本，对概率密度函数





1: KK

PX Z 进行逼近， k

为

系统状态， 1:k

为系统的观测值，用样本均值代替积

分运算，从而获得状态最小方差估计，这些样本称为

“粒子”

[9] 。数学描述为：对于平稳的随机过程，若1k



时刻系统的后验概率密度为



1: 1 KK

PXZ 



，依据一定

原则选取个随机样本点，时刻获得测量信息后 ,

经过状态和时间更新过程，个粒子的后验概率密度

可近似为

n k





pX Z 。随着粒子数目的增加，粒子的

概率密度函数逐渐逼近状态的概率密度函数，粒子滤

波估计即达到了最优贝叶斯估计的效果。

视频流相邻两帧图像内的目标跟踪可以看成目标

在图像中位置的仿射变换。目标在时刻的仿射变换

表示为





,,,

xys



 ，其中，,

y 分别表示目标区域

中心在

和方向的坐标，y

表示比例因子，



表示

目标区域的旋转角度。对于给定的一系列观测图像





12 tt

II I ，根据贝叶斯理论，有





 

111

ttttt tt

pXI

pI XpXXpXIX



  1

。

蒲晓蓉等  基于自适应粒子滤波的新技术ASM

100

记观测模型为





XI ，通过观测 t

的状态，计算状

态 t

的概率，建立动态时变系统



tt tt

XNX X











，其中，



代表仿射参

数 t

的协方差矩阵。这样，就可以用表观模型表示被

跟踪目标，用 PCA 的概率表示图像的观测模型。样本

训练图集经过特征分解以后得到一个中心为



的子

空间 U ，待跟踪图像t

中的目标概率可以用样本到

空间中的参考点的马氏距离 d 求得。d可以分解为空

间

和之间的距离和样本点到U的正交子空间

的距离的乘积 [10] ：

U t





 

ttd ttdtt



XP XPX III

(1)

由子空间产生的样本概率满足高斯分布，可以表

示为：







;, T

dtt t

pXNUU





 III(2)

其中，

为单位矩阵，



为样本均值，



I 表示观测

过程中的高斯噪声。

子空间内样本的概率可以用样本均值的马氏距离

建模：







;, T

dtt t

PXN UU





 II(3)

式 (2)和 (3)结合，可以计算出





X I[10]。

采用粒子滤波方法可以跟踪局部遮挡、光照变化

和多角度等人脸图像，并能在丢失后恢复目标跟踪。

4. 改进的 ASM算法流程

4.1. 基于粒子滤波跟踪的 ASM形状搜索过程

搜索目标的初始位置对 ASM 的影响非常大。如

果搜索位置偏离了搜索目标或与搜索目标的大小偏差

较大，搜索过程很容易陷入局部最小，导致整个搜索

失败。目前，大多数 ASM 搜索算法都基于人工手动

设置初始搜索位置，而非自动确定初始搜索位置。若

利用人脸自动检测实现人脸特征定位，须严格限制背

景、光照等条件，否则人脸检测失败会导致整个搜索

过程的失败。

为了自动确定跟踪目标，本文方法自视频流的第

一帧就利用人脸自动检测捕获跟踪目标。自动人脸检

测能确定视频流中人脸的确切位置，获得人脸位置、

大小和旋转等参数，并将人脸位置作为粒子滤波人脸

跟踪算法的初始化窗口。

利用 3.2 节描述的粒子滤波跟踪算法，实现复杂

条件下的人脸特征点跟踪。具体算法描述如下：

(a) 如果是视频流的第一帧，则用自动人脸检测

方法定位人脸位置；否则，用粒子滤波方法定位第一

帧中特定目标的人脸位置；

(b) 估计当前人脸脸颊的特征点位置，将人脸框

的宽度进行适当缩小和平移，再将新人脸框的左上角

点记为左脸颊位置，右上角点即为右脸颊位置；

平均形状模型中脸颊两个特征点的坐标之间的对应关

系，求得仿射变换矩阵的参数 ,,,

abt t I

xabx

T t

ybay





 





 

  

(d) 利用仿射变换，将平均形状模型中的其它点

也进行相应映射，获得 ASM 初始形状的搜索位置，

开始 ASM 搜索过程。自适应ASM跟踪流程如图2所

示。

4.2. 改进后 ASM的实验结果

实验针对复杂背景、人脸局部遮挡、强光照等情

况，分别采用传统 ASM 和基于自适应滤波的ASM方

法进行人脸跟踪，实验图像选用像素。部分

实验效果如图3 所示。

640 480 

采用传统 ASM 方法时，若第帧人脸检测失败，

将导致整个 ASM 搜索失败。由于视频流中连续几帧

图像中的人脸位置变化不会很大，利用这一特性可大

致估算第帧的人脸位置。根据前几帧的人脸检测结

果，取连续前几帧图像中人脸位置进行加权平均，分

别赋予不同的权重，估算后一帧的人脸位置。

由图 3 可见，采用传统ASM进行人脸检测与跟

踪，在复杂背景、遮挡和恶劣光照条件下均会失败。

实验结果表明，采用自适应粒子滤波的 ASM方

法跟踪复杂背景、局部遮挡、强光照等视频图像中的

人脸，具有更高的精确性和鲁棒性。

5. 总结

本文提出基于自适应粒子滤波的 ASM 方法，能

自动确定跟踪目标的初始位置，并能在复杂背景、局

部遮挡和强光照等图像中检测跟踪人脸，较传统 ASM

蒲晓蓉等 基于自适应粒子滤波的ASM新技术

101

Figure 2. Flow chart of adaptive ASM f or face tracking

图 2. 自适应ASM算法跟踪流程图

(a) 复杂背景中的人脸检测与跟踪 (b)嘴部遮挡人脸检测与跟踪

Figure 3. Comparative experimental results

图 3. 传统 ASM 与改进 ASM 人脸检测与跟踪对比

方法，改进的 ASM 方法具有更强的鲁棒性、精确性

和实时性。

6. 致谢

感谢国家自然科学基金 60973070 对本项目的支

持。

参考文献 (References)

[1] T. F. Cootes, C. J. Taylor, et a1. Active shape models-their

training and application. Journa l of Computer Vision and Image

Understanding, 1995, 61(1): 38-59.

[2] T. F. Cootes, G. J. Edwards and C. J. Taylo r. Active appearance

models. Proceedings of European Conference on Computer Vision,

1998, 2: 484-498.

[3] T. F. Cootes, C. J. Taylor. Statistical models for appearance for

computer vision, 2004.

http://www.isbe.man.ac.uk/bim/refs.html

[4] E. Hjelmas, B. K. Low. Face detection: A survey. Computer Vi-

sion and Image Unders t a n d i n g, 2001, 83(3): 236-274.

[5] P. Viola, M. J. Jones. Robustreal-time object detection. Inter-

national Journal of C omputer Visio n , 2001, 57(2): 137-154.

[6] D. Ross, J. Lim and M. H. Yang. Adaptive probabilistic visual

tracking with incremental subspace update. Proceedings of Eu-

ropean Conference on Computer Vision, 2004, 2: 470-482.

[7] D. A. Ross, J. Lim, R.-S. Lin and M.-H. Yang. Incremental lear-

ning for robust visual tracking. International Journal of Computer

Vision. 2008, 77(1-3): 125-141.

蒲晓蓉等  基于自适应粒子滤波的新技术ASM

102

[8] J. Shermina. Illumination invariant face recognition using dis-

crete cosin transform and principal component analysis. Procee-

dings of International Conference on Emerging Trends in Elec-

trical and Computer Technology (ICETECT), Tamil Nadu, 23-24

March 2011: 826-830.

[9] C. Shen, A. van Hengel and A. Dick. Probabilistic multiple cue

integration for particle filter based tracking. International Con-

ference on Digital Image Computing: Techniques and Applica-

tions, Sydney, 200 3, 1: 399-408.

[10] B. Moghaddam, A. Pentland. Probabilistic vi s ual learning for ob-

ject recognition. IEEE Transactions on Pattern Analysis and Ma-

chine Intelligence, 1997, 19(7): 696-710.