贝叶斯估计是一种简单的参数估计方法，是通过已经知道的数据来估计未知参数的先验分布的方法，这使得贝叶斯估计能充分的利用先验信息得到更合理的估计结果。本文先介绍贝叶斯估计方法的背景和思路，再用贝叶斯估计方法得到方差分析模型中参数估计的具体表达式，通过编程进行数值模拟求解，并进行实例分析。 Bayesian estimation is a simple parameter estimation method through the already known data to estimate the unknown parameters of the prior distribution method, which makes the bayesian estimation can make full use of prior information to get a more reasonable estimate results. This paper first introduces the background of the bayesian estimation method and train of thought, and then uses bayesian estimation method to get the concrete expression of the parameter estimation in the analysis of variance model, numerical simulations by programming to solve. At the same time, applying bayesian estimation method is analyzed in the analysis of variance model.
孙舒曼，腾德雄，胡锡健
新疆大学数学与系统科学学院，新疆 乌鲁木齐
收稿日期：2017年11月15日；录用日期：2017年12月4日；发布日期：2017年12月11日
贝叶斯估计是一种简单的参数估计方法，是通过已经知道的数据来估计未知参数的先验分布的方法，这使得贝叶斯估计能充分的利用先验信息得到更合理的估计结果。本文先介绍贝叶斯估计方法的背景和思路，再用贝叶斯估计方法得到方差分析模型中参数估计的具体表达式，通过编程进行数值模拟求解，并进行实例分析。
关键词 :方差分析模型，贝叶斯估计，无信息先验分布，后验分布
Copyright © 2017 by authors and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY).
http://creativecommons.org/licenses/by/4.0/
贝叶斯理论，是由英国数学家贝叶斯(Thomas Bayes，1701年~1761年)通过一篇论文“有关随机问题的求解”开始出现的，但开始时它的思想并没有得到重视，直到数学家拉普拉斯(Laplace)用贝叶斯方法重新发现了贝叶斯定理，并导出重要的“相继律”，贝叶斯思想才慢慢地受到人们的重视，形成今天的贝叶斯理论，并广泛应用于数学、工程等领域 [
由于贝叶斯估计是先通过分析已知的过去数据得到先验分布，再通过先验分布得到参数的后验分布，因此，通过贝叶斯估计得到的参数估计值会比一般估计值更精确、更合理，这一理论已经被很多统计学者通过模拟比较得到证实，2007年，霍涉云，张伟平等 [
贝叶斯估计运用在参数估计中的思路如下：
思路：假设有一组数据 x = ( x 1 , x 2 , ⋯ , x n ) ，其样本的似然函数为 f ( x | θ ) ，其中参数是 θ = ( θ 1 , θ 2 , ⋯ , θ k ) ，经典统计学派的思想是：假设 θ 是可由 x 估计的参数向量；而对于贝叶斯学派的观点是：认为参数向量 θ 本身就服从先验分布 π ( θ | η ) 且 η 被称为是超参数，得到：
π ( θ | x , η ) = f ( x | θ ) π ( θ | η ) ∫ f ( x | v ) π ( v | η ) d v = f ( x | θ ) π ( θ | η ) m ( x | η )
其中 m ( x | η ) 是 x 的边际分布， π ( θ | x , η ) 是后验分布。
这时作为 θ 的估计可选用后验分布 π ( θ | x , η ) 的某个位置特征量(即：最大值，中位数和期望值)。其中，由后验分布的任意一个位置特征量求得的估计都被称为是 θ 的贝叶斯估计，记为 θ ^ B ，有时也被记为 θ ^ 。(注：在一般情况下这三种贝叶斯估计是不同的，所以使用时是按照实际情况选择其中更合适的估计，但是由于正态分布的对称性可以知道，对于正态分布来说， θ 的三种贝叶斯估计值都是相等的)。
将线性模型矩阵化如下：
( y 11 ⋮ y 1 n ⋮ y r 1 ⋮ y r n ) = ( 1 n 1 1 n 2 ⋮ ⋮ ⋮ 1 n r − 1 1 n r ) ∗ μ + ( 1 n 0 ⋯ ⋯ ⋯ 0 0 0 1 n 0 ⋯ ⋯ 0 ⋮ 0 0 ⋱ ⋱ ⋮ ⋮ ⋮ ⋮ ⋱ ⋱ ⋱ ⋮ ⋮ ⋮ ⋮ ⋱ ⋱ 0 ⋮ 0 0 ⋯ ⋯ 0 1 n 0 0 0 ⋯ ⋯ ⋯ 0 1 n ) ∗ ( α 1 α 2 ⋮ ⋮ ⋮ α r − 1 α r ) + ( ε 11 ⋮ ε 1 n ⋮ ε r 1 ⋮ ε r n )
其中 1 i = ( 1 , 1 , ⋯ , 1 ) ′ 是一个 i × 1 的全 1 列向量，且 n 1 = n 2 = ⋯ = n r − 1 = n r = r
设 N = r ∗ n 。
故将单因素方差分析模型表示成了线性模型的一般形式：
y = x μ + A α + ε
其中 ε ~ N ( 0 , σ ε 2 I N ) ， α ~ N ( 0 , σ α 2 I r ) 且 μ 和 α = ( α 1 , α 2 , ⋯ , α r ) 为参数，则 y ~ N ( x μ + A α , σ ε 2 I N ) 。
故 y 在参数 μ , α , σ ε 2 下的似然函数为：
L ( y | μ , α , σ ε 2 ) = 1 ( 2 π σ ε ) N ∗ exp { − 1 2 σ ε 2 ( y − x μ − A α ) ′ ( y − x μ − A α ) }
假设参数 σ ε 2 , μ , α 相互独立，且参数的先验分布函数为：
π ( μ ) = c 1 , π ( α ) = c 2 , π ( σ ε 2 ) = 1 σ ε 2
其中 c 1 和 c 2 为常数。
则参数 σ ε 2 的联合密度函数为：
h ( y , μ , α | σ ε 2 ) = 1 σ ε 2 ∗ L ( y | μ , α , σ ε 2 ) = 1 σ ε 2 ∗ 1 ( 2π σ ε ) N ∗ exp { − 1 2 σ ε 2 ( y − x μ − A α ) ′ ( y − x μ − A α ) }
由贝叶斯公式可求得参数 σ ε 2 的联合后验分布为：
π ( σ ε 2 | y , μ , α ) = h ( y , μ , α | σ ε 2 ) ∫ h ( y , μ , α | σ ε 2 ) d σ ε 2 ∝ ( σ ε 2 ) − ( N 2 + 1 ) ∗ exp { − 1 σ ε 2 [ ( y − x μ − A α ) ′ ( y − x μ − A α ) 2 ] } (1-1)
(1-1)式恰好为倒Gamma分布密度函数 1 σ ε 2 ∗ 1 ( 2π σ ε ) N ∗ exp { − 1 2 σ ε 2 ( y − x μ − A α ) ′ ( y − x μ − A α ) } 的核即：
π ( σ ε 2 | y , μ , α ) ~ I G ( N 2 , 1 2 ( y − x μ − A α ) ′ ( y − x μ − A α ) )
又由正态变量的二次型可知有：
μ ′ x ′ ( σ ε 2 I n ) − 1 x μ = μ ′ Σ μ − 1 μ
⇒ Σ μ = σ ε 2 ( x ′ x ) − 1
将 Σ μ 代入下式：
μ ′ x ′ ( σ ε 2 I n + r ) − 1 ( y − A α ) = μ ′ Σ μ − 1 α μ
⇒ α μ = ( x ′ x ) − 1 x ′ ( y − A α )
得到参数 μ 的满条件后验分布为：
π ( μ | y , α , σ ε 2 ) ~ N ( ( x ′ x ) − 1 x ′ ( y − A α ) , σ ε 2 ( x ′ x ) − 1 ) (1-2)
又由正态变量的二次型可知有：
α ′ A ′ ( σ ε 2 I n ) − 1 A α + α ′ ( σ α 2 I r ) − 1 α = α ′ Σ α − 1 α
⇒ Σ α = ( 1 σ ε 2 A ′ A + 1 σ α 2 I r ) − 1
将 Σ α 代入下式：
α ′ A ′ ( σ ε 2 I n + r ) − 1 ( y − x μ ) = α ′ Σ α − 1 v
⇒ v = ( A ′ A + σ ε 2 σ α 2 I r ) − 1 A ′ ( y − x μ )
其中 v = D α ，且 0 < D α < 1 。
得到参数 α 的满条件后验分布为：
π ( α | y , σ ε 2 , σ α 2 ) ~ N ( ( A ′ A + σ ε 2 σ α 2 I r ) − 1 A ′ ( y − x μ ) , ( 1 σ ε 2 A ′ A + 1 σ ε 2 I r ) − 1 ) (1-3)
从上面的结果得到，参数 和 α 的满条件后验分布都是不常见的概率分布，本文采用Gibbs抽样的方法来抽取。
又 α 在参数 σ α 2 下的似然函数为：
L ( α | σ α 2 ) = 1 ( 2 π σ α ) r ∗ exp { − 1 2 σ α 2 ( α ′ α ) }
假设参数 σ α 2 的先验分布函数为：
π ( σ α 2 ) = 1 σ α 2
则参数 α 的联合密度函数为：
h ( α | σ α 2 ) = 1 σ α 2 ∗ L ( α | σ α 2 ) = 1 σ α 2 ∗ 1 ( 2π σ α ) r ∗ exp { − 1 2 σ α 2 ( α ′ α ) }
又由贝叶斯估计的公式可求得参数 σ α 2 的联合后验分布函数为：
π ( σ α 2 | α ) = h ( α | σ α 2 ) ∫ h ( α | σ α 2 ) d σ α 2 ∝ 1 σ α 2 ∗ 1 ( 2π σ α ) r ∗ exp { − 1 2 σ α 2 ( α ′ α ) } ∝ ( σ α 2 ) − ( r 2 + 1 ) ∗ exp { − 1 σ α 2 ( α ′ α 2 ) } (1-4)
(1-4)式恰好为倒Gamma分布密度函数的核即：
π ( σ α 2 | α ) ~ I G ( r 2 , 1 2 α ′ α )
故由上可得方差分析模型中参数的后验分布函数为：
π ( σ α 2 | α ) ~ I G ( r 2 , 1 2 α ′ α )
π ( σ ε 2 | y , μ , α ) ~ I G ( N 2 , 1 2 ( y − x μ − A α ) ′ ( y − x μ − A α ) )
π ( μ | y , α , σ ε 2 ) ~ N ( ( x ′ x ) − 1 x ′ ( y − A α ) , σ ε 2 ( x ′ x ) − 1 )
π ( α | y , σ ε 2 , σ α 2 ) ~ N ( ( A ′ A + σ ε 2 σ α 2 I r ) − 1 A ′ ( y − x μ ) , ( 1 σ ε 2 A ′ A + 1 σ α 2 I r ) − 1 )
1) 分别给定参数 μ 和 α 的初值，以及参数假定 ε ~ N ( 0 , σ ε 2 I n ) ；
2) 随机生成一组随机误差的值 ε ~ N ( 0 , 1 ) ；
3) 通过单因素方差分析模型： y = x μ + A α + ε ，得到1组随机生成的 y 值；
4) 此时，在方差分析模型中我们已随机生成一组样本 y ，下面通过样本求解参数 μ , α 和 σ ε 2 的估计值；
5) 用MCMC方法求解贝叶斯的参数估计问题，其中用Gibbs抽样方法从参数 σ α 2 和 σ α 2 的满条件分布核中抽样，不断更新参数 μ , α , σ α 2 和 σ e 2 ，重复此步骤 n 次，得到 n 组参数的抽样值，取出后面 n − m 项并分别对其求均值输出，此处 n 和 m 分别取5000和2500；
6) 将(2)~(5)步骤重复 s 次，则可得到 s 组有关参数的抽样均值；
7) 将这 s 组参数的抽样均值再求期望，并与原假设数据做均方差矩阵MSEM的值；
8) 分别取 s 等于10和50求解参数估计的值。
设定单因素方差分析模型： y = x μ + A α + ε 中的参数的真值分别为： α = ( α 1 , α 2 , α 3 , α 4 ) ′ = ( 1 , 0.2 , 2 , 0.6 , 0 , 0.8 , 0.1 , 1 , 2 , 0 , − 2 , − 0.6 , − 0.1 , 0 , − 0.02 , − 0.8 , − 1 , − 1 , 0 , − 2 ) ′ ， μ = 5 设 x ( i ) 是 i ∗ 1 的全1列向量，则 x 为 x ( 2000 ) 即为 2000 ∗ 1 的全1列向量， A 是 2000 ∗ 20 的矩阵有A = kronecker(diag(20)， x ( 2000 ) )，再随机生成1个 ε = ( ε 1 , ε 2 , ⋯ , ε 2000 ) 其中有 ε i ~ N ( 0 , 1 ) ，循环上面过程 s 次，得到 s 组 y 值，再用每组 y 值经过5000次抽样求解参数 μ , α 和 σ e 的贝叶斯估计，最后求得估计均值见表1。
表1充分的显示出贝叶斯估计与真值的近似程度很高，并且具有很好的优良性和有效性。
为研究人们在催眠状态下对各种情绪的反应是否有差异，选取了8个受试者。在催眠状态下，要求每人按任意次序做出恐惧，愉快，忧虑和平静4种反应。表2给出了各受试者在处于这4种情绪状态下皮肤的电位变化值。试在 α = 0.05 下，检验受试者在催眠状态下对这4种情绪的反应力是否有显著差异。
| 5000 × 10次循环 | 5000 × 50次循环 | |||||
|---|---|---|---|---|---|---|
| 估计参数 | 真值 | 估计均值 | MSEM | 估计均值 | MSEM | |
| μ | 5 | 4.987424 | 1.581591e−04 | 4.996145 | 1.486461e−05 | |
| σ e 2 | 1 | 1.004277 | 1.828892e−05 | 1.00301 | 9.060607e−06 | |
| α | α 1 | 1 | 0.9552853 | 1.999403e−03 | 1.133144 | 1.772729e−02 |
| α 2 | 0.2 | 0.1135279 | 7.477422e−03 | 0.3269546 | 1.611747e−02 | |
| α 3 | 2 | 1.878519 | 1.475755e−02 | 1.95898 | 1.682641e−03 | |
| α 4 | 0.6 | 0.6602855 | 3.634336e−03 | 0.5883567 | 1.355656e−04 | |
| α 5 | 0 | −0.07259847 | 5.270538e−03 | −0.03610165 | 1.303329e−03 | |
| α 6 | 0.8 | 0.7330294 | 4.485066e−03 | 0.8777618 | 6.046896e−03 | |
| α 7 | 0.1 | 0.03053701 | 4.825107e−03 | 0.1575079 | 3.307157e−03 | |
| α 8 | 1 | 0.9435907 | 3.182009e−03 | 1.074521 | 5.553396e−03 | |
| α 9 | 2 | 1.838888 | 2.595704e−02 | 2.027063 | 7.324115e−04 | |
| α 10 | 0 | 0.03807055 | 1.449367e−03 | 0.08877625 | 7.881222e−03 | |
| α 11 | −2 | −1.981183 | 3.540745e−04 | −2.067859 | 4.604908e−03 | |
| α 12 | −0.6 | −0.6284297 | 8.082494e−04 | −0.8013754 | 4.055205e−02 | |
| α 13 | −0.1 | −0.1009333 | 8.70968e−07 | −0.115018 | 2.255403e−04 | |
| α 14 | 0 | 0.0001812512 | 3.2852e−08 | 0.09651642 | 9.315419e−03 | |
| α 15 | −0.2 | −0.1484892 | 2.653363e−03 | −0.2123158 | 1.516792e−04 | |
| α 16 | −0.8 | −0.9698515 | 2.884953e−02 | −0.6956514 | 1.088862e−02 | |
| α 17 | −1 | −0.9754212 | 6.041193e−04 | −0.9718703 | 7.912795e−04 | |
| α 18 | −1 | −0.9279606 | 5.189679e−03 | −0.9476162 | 2.744061e−03 | |
| α 19 | 0 | −0.005409943 | 2.926748e−05 | −0.008969074 | 8.044429e−05 | |
| α 20 | −2 | −2.02893 | 8.369557e−04 | −1.994878 | 2.623501e−05 | |
| 总MSEM值 | 5.115479e−03 | 5.904159e−03 | ||||
表1. 对50和100个随机生成的 y 值求解贝叶斯估计的模拟结果
| 情绪状态 | 受试者 | |||||||
|---|---|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | |
| 恐惧 | 23.1 | 57.6 | 10.5 | 23.6 | 11.9 | 54.6 | 21.0 | 20.3 |
| 愉快 | 22.7 | 53.2 | 9.7 | 19.6 | 13.8 | 47.1 | 13.6 | 23.6 |
| 忧虑 | 22.5 | 53.7 | 10.8 | 21.1 | 13.7 | 39.2 | 13.7 | 16.3 |
| 平静 | 22.6 | 53.1 | 8.3 | 21.6 | 13.3 | 37.0 | 14.8 | 14.8 |
表2. 4种情绪状态下皮肤的电位变化值(mV)
对于上面的问题建立方差分析模型：
y = x μ + A α + ε
其中：
y = ( 23.1 , 57.6 , 10.5 , 23.6 , 11.9 , 54.6 , 21.0 , 20.3 , 22.7 , 53.2 , 9.7 , 19.6 , 13.8 , 47.1 , 13.6 , 23.6 , 22.5 , 53.7 , 10.8 , 21.1 , 13.7 , 39.2 , 13.7 , 16.3 , 22.6 , 53.1 , 8.3 , 21.6 , 13.3 , 37.0 , 14.8 , 14.8 )
x 为32 × 1的全1列向量，A为kronecker(diag(4),array(d,dim=c(8,1)))一个32 × 4的矩阵，则下面通过R程序得以下结果：
μ = 25.1489461 , σ ε 2 = 15.7876821
α 1 = 0.05077693 , α 2 = − 0.011519118 , α 3 = − 0.005867851 , α 4 = − 0.008307687
下面检验受试者在催眠状态下对这4种情绪的反应力是否有显著差异， α = 0.05
假设原假设为： H 0 : α 1 − α 2 = α 1 − α 3 = α 1 − α 4 = 0
则可知：
p ( α 1 , α 2 ) = 0.01513101 < 0.025
p ( α 1 , α 3 ) = 0.04791839 < 0.025
p ( α 1 , α 4 ) = 0.06331945 > 0.025
由上式可知在 α = 0.05 的拒绝区间下，应拒绝原假设，得到结论是受试者在催眠状态下对这4种情绪的反应力有显著差异。
通过将贝叶斯估计运用到单因素方差分析模型中的数值模拟，可以发现贝叶斯估计的优良性和高度的近似性，用在实例分析中也简单易懂。再通过对单因素方差分析模型的研究，可以将贝叶斯估计推广到多因素方差分析模型的研究中。同时也可以经验贝叶斯估计运用在单因素方差分析和多因素方差分析模型的研究，也将是一个新的挑战。
孙舒曼,腾德雄,胡锡健. 方差分析中的贝叶斯估计问题研究Bayesian Estimation Study in Variance Analysis Model[J]. 统计学与应用, 2017, 06(05): 508-515. http://dx.doi.org/10.12677/SA.2017.65057