王小英，李迎华，杨雪梅

华北电力大学数理学院，北京

收稿日期：2017年10月8日；录用日期：2017年10月23日；发布日期：2017年10月30日

混合高斯模型在描述数据方面应用较多，但它易受离群点的影响，其参数的极大似然估计不是稳健估计。混合t-分布模型由于其重尾分布的特性，相对于混合高斯分布，在分析重尾数据上更具稳健性。文章首先研究一元混合t-分布模型，利用标准EM算法给出了该模型参数极大似然估计的迭代步骤，并分别在三类模拟数据下与混合高斯模型进行了对比分析，验证了该模型的有效性以及在拟合重尾数据上的优势。算法初始化采用k-means方法。

关键词 :EM算法，混合t-分布模型，k-Means初始化

Copyright © 2017 by authors and beplay安卓登录

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

混合分布模型是一种基于概率和统计的建模工具，它提供了一个用简单结构模拟复杂密度的灵活有效的方法，从而受到了统计学界、模式识别、图像处理等诸多领域的广泛关注。它的基本策略是，把研究数据看作是从很大的单个或多个总体上抽取出的一部分，通过潜在的分布或密度函数来描述。混合高斯模型应用的较多，但通常我们收集到的很多数据并不是严格的服从正态分布，而是较明显的服从重尾分布。混合t-分布模型由于其具有较长的尾巴，可对重尾点和异常点有效的降低权值，因此，相对于混合高斯分布模型，可以获得较强的精度和稳健性。

对于模型参数的求解，1977年Dempster等人在文献 [ 1 ] 中提出的EM算法成为了混合模型参数极大似然估计的极有效的工具。Peel和McLachlan在文献 [ 2 ] 中指出EM算法可以获得有限混合任意分布模型的极大似然估计。对于单一的t-分布，为了使M步更好求解，Meng和Rubin在文献 [ 3 ] 中用受限制的最大化CM步来代替M步，得到ECM算法；Peel和McLachlan在文献 [ 2 ] [ 4 ] 中提出多元混合t-分布模型，用标准EM算法求解混合t-分布模型参数的极大似然估计，并给出了ECM算法的一个应用；而后，Liu和Rubin在文献 [ 5 ] 中对ECM算法进行两处修改，得到收敛速度更快的ECME算法。在算法初始化方面，冉延平在文献 [ 6 ] 中用k-means方法确定混合高斯分布的最大混合子分布数目以及混合比例；史鹏飞在文献 [ 7 ] 中通过k-means方法先给出混合数据的一个粗糙分组，然后根据分组数据给出参数的一个粗略估计值，作为混合高斯分布EM算法的迭代初始值。随着计算机性能的快速发展，混合t-分布模型已应用于诸多领域。如杨云飞在文献 [ 8 ] 中提出了自适应均值滤波的多元t-分布混合模型，对医学脑图像分割进行了研究；熊太松在文献 [ 9 ] 中对伯克利图像数据和微软剑桥研究院提供的图像集用视觉和量化对比的评估方式证明了基于空间平滑的t-分布混合模型在灰度图像分割中的有效性；朱志娥在文献 [ 10 ] 中针对偏t正态数据、异方差和线性回归提出了偏t正态数据下混合线性联合位置与尺度模型，详细介绍了该模型下的EM算法并进行了有效的模拟验证。

在前人研究的基础上，本文研究了基于EM算法的三总体一元混合t-分布模型参数的极大似然估计，克服了多元混合t-分布模型中协方差矩阵向一元混合t-分布模型中尺度参数转变的困难，并首次将k-means方法用于该模型下算法初值的选取。此外，我们引进了混合高斯模型，并分别在三种不同类型数据下进行了对比仿真实验，验证了本文研究的模型和方法的有效性及其在处理重尾数据上的优势。

本文要研究的模型为上文所提到的式(3)，并假设三个子分布的自由度相同，即 ν 1 = ν 2 = ν 3 = ν 。我们采用标准EM算法来求解模型参数，它提供了一种近似计算含有隐变量概率模型的极大似然估计的方法。在EM算法的基本框架下，我们引入隐变量以得到完整数据集。完整数据集定义为 Y c = { Y , Z , U } ，

其中， Z 为标签变量 Z = { z 1 , z 2 , ⋯ , z N } ，且 z i k = { 1 ,       第 i 个 样 本 来 自 第 k 个 子 分 布 0 ,       其 他 ( i = 1 , 2 , ⋯ , N , k = 1 , 2 , 3 )；

U 为引进的另一个隐变量 U = { u 1 , u 2 , ⋯ , u N } ，给定 z i k = 1 时， u i 是独立同分布的，且满足

u i | z i k = 1 ∼ G ( ν 2 , ν 2 ) ； Y 为可观测数据集 Y = { y 1 , ⋯ , y N } ，且有 y i | u i , z i k = 1 ∼ N ( μ k , σ k 2 / u i ) 。由(1) (3)两式

建立完整数据的似然函数为：

p ( Y , Z , U | Ψ ) = ∏ i = 1 N p ( y i , z i 1 , z i 2 , u i | Ψ ) = ∏ i = 1 N ∏ k = 1 3 { u i 2 π σ k e − u i ( y i − μ k ) 2 2 σ k 2 [ ( ν 2 ) ν 2 Γ ( ν 2 ) e − ν 2 u i u i ν 2 − 1 ] π k } z i k (4)

则完整数据的对数似然函数为：

log p ( Y , Z , U | ψ ) = ∑ k = 1 3 ∑ i = 1 N z i k { 1 2 log u i − 1 2 log 2 π − log σ k − u i 2 σ k 2 ( y i − μ k ) 2                       + ν 2 log ν 2 − log Γ ( ν 2 ) − ν 2 u i + log π k }                   = ∑ k = 1 3 ∑ i = 1 N z i k log π k                       + ∑ k = 1 3 ∑ i = 1 N z i k { − log Γ ( ν 2 ) + ν 2 log ( ν 2 ) + ν 2 ( log u i − u i ) }                       + ∑ k = 1 3 ∑ i = 1 N z i k { − 1 2 log 2 π − 1 2 log u i − log σ k − u i ( y i − μ k ) 2 2 σ k 2 } (5)

EM算法是一种迭代近似求解算法，它主要分两步进行：E步是对对数似然函数求期望，M步是最大化对数似然函数以获得新的参数值。

应用EM算法于上式，求解第 j 次各参数的极大似然更新表达式。

E步： Q ( Ψ | Ψ ( j ) ) = E Z , U [ log p ( Y , Z , U | Ψ ) | Y , Ψ ( j ) ]

首先计算关于隐变量 Z ， U 的条件分布的期望：

E Z , U [ z i k | Y , Ψ ( j ) ] = τ i k ( j ) = π k ( j ) f k ( y i | θ k ( j ) ) ∑ k = 1 3 π k ( j ) f k ( y i | θ k ( j ) ) (6)

E Z , U [ u i k | y , Ψ ( j ) ] = u i k ( j ) = ν ( j ) + 1 ν ( j ) + ( y i − μ k ( j ) ) 2 / σ k 2 ( j ) (7)

E Z , U [ log u i k | y , Ψ ( j ) ] = l i k ( j ) = log u i k ( j ) + { ψ ( ν ( j ) + 1 2 ) − log ( ν ( j ) + 1 2 ) } (8)

其中， ψ ( x ) = d ( log Γ ( x ) ) d x = Γ ′ ( x ) Γ ( x ) ，于是

Q ( Ψ | Ψ ( j ) ) = ∑ k = 1 3 ∑ i = 1 N τ i k ( j ) log π k + ∑ k = 1 3 ∑ i = 1 N τ i k ( j ) { − log Γ ( ν 2 ) + ν 2 log ( ν 2 ) + ν 2 ( log u i k ( j ) + Ψ ( ν ( j ) + 1 2 ) − log ( ν ( j ) + 1 2 ) − u i k ( j ) ) } + ∑ k = 1 3 ∑ i = 1 N τ i k ( j ) { − 1 2 log 2 π − log σ k − u i k ( j ) ( y i − μ k ) 2 2 σ k 2 − 1 2 [ log u i k ( j ) + Ψ ( ν ( j ) + 1 2 ) − log ( ν ( j ) + 1 2 ) ] } (9)

M步： θ ( j + 1 ) = arg   max θ   Q ( θ , θ (j))

利用Q函数对各参数求偏导数并令其等于零，求解得到各参数的第 j + 1 次迭代更新表达式：

π k ( j + 1 ) = ∑ i = 1 N τ i k ( j ) / N (10)

μ k ( j + 1 ) = ∑ i = 1 N τ i k ( j ) u i k ( j ) y i ∑ i = 1 N τ i k ( j ) u i k ( j ) (11)

σ k ( j + 1 ) = sqrt ( ∑ i = 1 N τ i k ( j ) u i k ( j ) ( y i − μ k ( j + 1 ) ) 2 ∑ i = 1 N τ i k ( j ) u i k ( j ) ) (12)

自由度 ν ( j + 1 ) 是非线性方程

log ν 2 − ψ ( ν 2 ) + 1 + 1 ∑ i = 1 N τ i k ( j ) ∑ i = 1 N τ i k ( j ) ( l i k ( j ) − u i k ( j ) ) = 0 (13)

的解。上式是关于 ν 的非线性方程，文献 [ 5 ] 中采用搜索 ν 的空间求出 ν 的估计值，但计算量大。文献 [ 12 ] 中作者给出了一个计算量相对较小的可直接计算多元混合t-分布模型中参数 ν 近似解的方法，但其不稳定。因此，方便起见，在接下来的数值模拟中我们只考虑自由度是已知的情形，即每一子分布的自由度都相同且固定为 ν 。

为了验证上述参数估计方法的有效性，我们共采用三种不同类型数据进行模拟研究，并引进混合高

斯分布模型 [ 13 ] 与之作对比。由t-分布的方差与尺度参数的关系 υ 2 = ν ν − 2 σ 2 ，将混合t-分布EM算法参

数估计结果中的尺度参数 σ 转化为标准差 υ ，再与混合高斯分布EM算法估计的参数 υ 作比较。算法的初始化均采用k-means方法。参数估计的精确度采用均方误差来衡量，如混合比例 π 1 的均方误差定义为：

M S E ( π 1 ) = 1 n ∑ i = 1 n ( π 1 i − π 1 ( 0 ) ) 2

其中， π 1 ( 0 ) 是 π 1 的真值，n为模拟次数。

本文主要研究了一元混合t-分布模型，给出了EM算法下该模型参数的极大似然估计，并在模拟的三种类型的数据下与混合高斯模型进行了对比分析。从前两类数据的模型参数估计结果中可以看出，每个子分布的自由度固定且取相同的值的情况下，对于混合高斯数据，当自由度的取值足够大时，基于混合t-分布模型的EM算法的参数估计结果并不比基于混合高斯模型的EM算法差；对于混合t-分布数据，基于混合t-分布模型的EM算法能够得到较好的估计结果并优于基于混合高斯模型的EM算法的估计结果，且随着自由度的增大，效果会更好；而在第三类含噪声的混合高斯分布数据下，整体而言，混合t-分布模型比混合高斯分布模型拟合效果更好，说明了混合t-分布模型在处理重尾数据上更具优势。以上结果验证了本文研究的模型和方法的有效性。

国家自然科学基金(11601150)；国家自然科学基金(U1430103)；中央高校基本科研业务费专项资金资助(2016MS62)。

王小英,李迎华,杨雪梅. 不同类型数据下混合模型参数估计效果的对比研究 Comparative Study on Effects of Parameter Estimation of Mixture Models under Different Types of Data[J]. 统计学与应用, 2017, 06(04): 482-491. http://dx.doi.org/10.12677/SA.2017.64054