假设对一般线性随机效应模型添加新的变量项成为过参数线性随机效应模型,这时两模型相同未知参数的统计推断不一定相同。针对这一问题,本文利用带约束限制二次矩阵值函数最优化问题的解,给出过参数线性随机效应模型下未知参数函数的最佳线性无偏预测/最佳线性无偏估计的解析表达式,并利用一些代数与矩阵理论工具,得到了两模型未知参数函数最佳线性无偏预测/最佳线性无偏估计等价的条件。 Suppose that adding a new variable term to the general linear random-effect model becomes the overparameter linear random-effect model, then the statistical inference of the some unknown parameter of the two models is not necessarily the same. In order to solve this problem, this paper uses the solution of constrained quadratic matrix-valued function optimization problem to give the analytical expression of the best linear unbiased predictor/best linear unbiased estimator of the unknown parameter function under the overparameter linear random-effect model. The conditions for the equivalence of the best linear unbiased predictor/best linear unbiased estimator of unknown parameter functions of two models are obtained by using some algebra and matrix theory tools.
蔡亚,张筑秋,叶义琴
贵州民族大学,数据科学与信息工程学院,贵州 贵阳
收稿日期:2019年10月1日;录用日期:2019年10月17日;发布日期:2019年10月24日
假设对一般线性随机效应模型添加新的变量项成为过参数线性随机效应模型,这时两模型相同未知参数的统计推断不一定相同。针对这一问题,本文利用带约束限制二次矩阵值函数最优化问题的解,给出过参数线性随机效应模型下未知参数函数的最佳线性无偏预测/最佳线性无偏估计的解析表达式,并利用一些代数与矩阵理论工具,得到了两模型未知参数函数最佳线性无偏预测/最佳线性无偏估计等价的条件。
关键词 :线性随机效应模型,最佳线性无偏预测,最佳线性无偏估计,协方差矩阵,等价性
Copyright © 2019 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY).
http://creativecommons.org/licenses/by/4.0/
在做统计分析时,经常需要去分析两个或多个不同线性模型间的相似性或等价性。例如当回归模型出现过度参数化或过度拟合时,尽管原模型与新模型的响应变量相同,但两模型中相同未知参数的统计推断不一定相同,因此就有兴趣去研究这两个模型间的关系。关于这类问题的已做了的研究有,文献 [
在线性随机效应模型下做了的研究有,文献 [
线性随机效应模型是一类重要的统计模型,常用于生物统计,公共卫生,心理计量学,教育学和社会学等领域纵向数据和相关数据的统计分析。
线性随机效应模型的一般形式如下
M 1 : y = X β + ε , β = Z α + γ (1)
其中 y ∈ ℝ n × 1 是可观测的响应变量, y ∈ ℝ n × 1 表示 n × 1 实矩阵构成的集合, X ∈ ℝ n × p 是已知的任意秩矩阵, β ∈ ℝ p × 1 是未知参数向量, ε ∈ ℝ n × 1 是不可观测的随机误差向量, Z ∈ ℝ p × k 是已知的任意秩矩阵, α ∈ ℝ k × 1 是固定的未知参数向量, γ ∈ ℝ p × 1 是不可观测的随机向量。
考虑在模型(1)中添加新的变量项 F ζ ,则得到新的线性随机效应模型
M 2 : y = X β + F ζ + ε , β = Z α + γ (2)
其中 F ∈ ℝ n × q 是已知的任意秩矩阵, ζ ∈ ℝ q × 1 是固定的未知参数向量。我们把模型(2)称为相对模型(1)的过参数线性随机效应模型,模型(1)称为一般线性随机效应模型。
同时,我们约定模型(1)和(2)中未知随机参数向量 γ 和 ε 的期望及协方差矩阵满足
E [ γ ε ] = 0 , C o v [ γ ε ] = [ Σ 11 Σ 12 Σ 21 Σ 22 ] = Σ (3)
这里 Σ ∈ ℝ ( p + n ) × ( p + n ) 是一个已知或未知的任意秩非负定矩阵,其中 Σ 11 ∈ ℝ p × p , Σ 12 = Σ ′ 21 ∈ ℝ p × n , Σ 22 ∈ ℝ n × n , Σ ′ 21 表示 Σ 21 的转置。
对模型(1)和模型(2)中的y, γ 和 ε ,若记 X ˜ = [ X , I n ] , S = [ 0 , I n ] ,则 D ( y ) , C o v ( X γ , y ) , C o v ( ε , y ) 可表示成
D ( y ) = D ( X γ + ε ) = X Σ 11 X ′ + X Σ 12 + Σ 21 X ′ + Σ 22 = X ˜ Σ X ˜ ′ (4)
C o v ( X γ , y ) = C o v ( X γ , X γ + ε ) = X Σ 11 X ′ + Σ 12 = X Σ X ˜ ′ (5)
模型(2)相对模型(1)多了一个变量项 F ζ ,那么模型(1)和模型(2)关于向量参数 α 、 γ 和
ϕ = A α + B γ + C ε (7)
以此研究两个模型下向量 φ 的预测量或估计之间的关系。这里 A ∈ ℝ s × k , B ∈ ℝ s × p 和 C ∈ ℝ s × n 分别是三个已知的任意秩矩阵。
若记 H = [ B , C ] ,易知 ϕ 的协方差矩阵为 D ( ϕ ) = H Σ H ′ ,则 ϕ 与y协方差矩阵可表示为 C o v ( ϕ , y ) = H Σ X ˜ ′ 。
参照文献 [
定义1:若存在矩阵 L ∈ ℝ k × n ,满足 E ( L y − ϕ ) = 0 ,则称向量函数 ϕ 在模型(1)或模型(2)下可预测。
定义2:假设向量 ϕ 是可预测的,若存在 L o p t ∈ K = { L | E ( L y − ϕ ) = 0 , L ∈ ℝ k × n } ,使得对任意的 L ∈ K 都有 D ( L o p t y − ϕ ) ≤ D ( L y − ϕ ) 成立,即 D ( L o p t y − ϕ ) = min { D ( L y − ϕ ) } ,则称 L o p t y 为模型(1)或模型(2)下向量函数 ϕ 的最佳线性无偏预测。当 B = 0 , C = 0 时,我们把 L o p t y 称为向量函数 ϕ 的最佳线性无偏估计。
接下来我们给出下文讨论用到的几个引理。
引理1: [
令 f ( L u ) = ( L u C 1 + D 1 ) M ( L u C 1 + D 1 ) ′ s .t L u A 1 = B 1
这里 A 1 ∈ ℝ p × q , B 1 ∈ ℝ n × q , C 1 ∈ ℝ p × m , D 1 ∈ ℝ n × m 和 M ∈ ℝ p × p 是半正定的,矩阵方程 L u A 1 = B 1 是相容的,则总是存在 L 0 A 1 = B 1 的解 L 0 使得
f ( L u ) ≥ f (L0)
对于 L u A 1 = B 1 的所有解都成立,则满足(8)的矩阵 L 0 也满足下面相容的矩阵方程
L 0 [ A 1 , C 1 M C ′ 1 A 1 ⊥ ] = [ B 1 , − D 1 M C ′ 1 A 1 ⊥ ]
L 0 的一般表达式及相应地 f ( L 0 ) 和 f ( L u ) − f ( L 0 ) 如下
L 0 = arg min L u A 1 = B 1 f ( L u ) = [ B 1 , − D 1 M C ′ 1 A 1 ⊥ ] [ A 1 , C 1 M C ′ 1 A 1 ⊥ ] + + U [ A 1 , C 1 M C ′ 1 ] ⊥
f ( L 0 ) = min L u A 1 = B 1 f ( L u ) = K M K ′ − K M C 1 T C ′ 1 M K ′
f ( L u ) = f ( L 0 ) + ( L u C 1 + D 1 ) M C ′ 1 T C 1 M ( L u C 1 + D 1 ) ′ = f ( L 0 ) + ( L u C 1 M C ′ 1 A 1 ⊥ + D 1 M C ′ 1 A 1 ⊥ ) T ( L u C 1 M C ′ 1 A 1 ⊥ + D 1 M C ′ 1 A 1 ⊥ ) ′
这里 K = B 1 A 1 + C 1 + D 1 , T = ( A 1 ⊥ C 1 M C ′ 1 A 1 ⊥ ) + ,且 U ∈ ℝ n × p 是任意的, A 1 + 表示 A 1 的Moore-Penrose逆, A 1 ⊥ 表示正交投影矩阵。
引理2 [
r [ A 2 , B 2 ] = r ( A 2 ) + r ( E A 2 B 2 ) = r ( B 2 ) + r ( E B 2 A 2 ) (8)
r [ A 2 C 2 ] = r ( A 2 ) + r ( C 2 F A 2 ) = r ( C 2 ) + r ( A 2 F C 2 ) (9)
r [ A 2 B 2 C 2 0 ] = r ( B 2 ) + r ( C 2 ) + r ( E B 2 A 2 F C 2 ) (10)
引理3 [
为了得到两模型未知参数函数 ϕ 的BLUP等价的条件,就需要知道两模型参数函数的BLUP的解析表达式,这里根据 [
引理4:向量 ϕ 在模型(1)下可预测的充要条件
R ( X ^ ′ ) ⊇ R ( A ′ ) (11)
R ( A ′ ) 表示 A ′ 的列空间,
引理5:向量 ϕ 在模型(1)下可预测,并且定义 C o v ( y ) = X ˜ Σ X ˜ ′ = V 和 C o v { ϕ , y } = H Σ X ˜ ′ = N ,则
E ( L 1 y − ϕ ) = 0 且 D ( L 1 y − ϕ ) = min ⇔ L 1 [ X ^ , V X ^ ⊥ ] = [ A , N X ^ ⊥ ] (12)
相应的 B L U P M 1 ( ϕ ) 表达式如下
B L U P M 1 ( ϕ ) = L 1 y = ( [ A , N X ^ ⊥ ] [ X ^ , V X ^ ⊥ ] + + U 1 [ X ^ , V X ^ ⊥ ] ⊥ ) y (13)
这里 U 1 ∈ ℝ k × n 是任意的,特别地
B L U E M 1 ( A α ) = ( [ A , 0 ] [ X ^ , V X ^ ⊥ ] + + U 1 [ X ^ , V X ^ ⊥ ] ⊥ ) y (14)
这里 U 1 ∈ ℝ k × n 是任意的,并且有如下结论成立。
(a) r [ X ^ , V X ^ ⊥ ] = r [ X ^ , V ] , R [ X ^ , V X ^ ⊥ ] = R [ X ^ , V ] 且 R ( X ^ ) ∩ R ( V X ^ ) = { 0 } ;
(b) L 1 唯一的充要条件是 R [ X ^ , V ] = n ;
(c) B L U P M 1 ( ϕ ) 以概率1唯一的充要条件是 y ∈ R [ X ^ , V ] ,且模型(1)是相容的。
下面为了得到过参数线性随机效应模型下未知参数函数的BLUP解析表达式,这里将向量 ϕ 写成如下行式
ϕ = A * α * + B γ + C ε = [ A , 0 ] [ α ζ ] + B γ + C ε (15)
根据(2)和(17) L 2 y − ϕ 可表示为
L 2 y − ϕ = L 2 X Z α + L 2 F ζ + L 2 X γ + L 2 ε − A * α * − B γ − C ε = [ L 2 X ^ , L 2 F ] α * + L 2 X γ + L 2 ε − A * α * − B γ − C ε = ( [ L 2 X ^ , L 2 F ] − A * ) α * + ( L 2 X − B ) γ + ( L 2 − C ) ε = ( L 2 W − A * ) α * + ( L 2 X − B ) γ + ( L 2 − C ) ε (16)
这里 W = [ X ^ , F ] 、 A * = [ A , 0 ] 、 α * = [ α ζ ] ,并且 L 2 y − ϕ 的期望与协方差矩阵如下
E ( L 2 y − ϕ ) = E [ ( L 2 W − A * ) α * ] = ( L 2 W − A * ) α * (17)
C o v ( L 2 y − ϕ ) = D [ ( L 2 X − B ) γ + ( L 2 − C ) ε ] = [ ( L 2 X − B ) , ( L 2 − C ) ] Σ [ ( L 2 X − B ) , ( L 2 − C ) ] ′ = ( L 2 [ X , I n ] − [ B , C ] ) Σ ( L 2 [ X , I n ] − [ B , C ] ) ′ = ( L 2 X ˜ − H ) Σ ( L 2 X ˜ − H ) ′ : = f ( L 2 ) (18)
定理1:向量 ϕ 在模型(2)下可预测的充要条件
R ( [ X ^ , F ] ′ ) ⊇ R ( [ A , 0 ] ′ ) (19)
证明:若向量 ϕ 在模型 M 2 下可预测,则满足
E ( L 2 y − ϕ ) = 0 ⇔ [ L 2 X ^ , L 2 F ] α * − [ A , 0 ] α * 对所有的 α * ⇔ L 2 [ X ^ , F ] = [ A , 0 ]
根据引理3,当(23)成立时,上式方程是相容的。
定理2:向量 ϕ 在模型(2)下可预测,则
E ( L 2 y − ϕ ) = 0 和 D ( L 2 y − ϕ ) = min ⇔ L 2 [ W , V W ⊥ ] = [ A * , N W ⊥ ] (20)
相应的 B L U P M 2 ( ϕ ) 表达式如下
B L U P M 2 ( ϕ ) = L 2 y = ( [ A * , N W ⊥ ] [ W , V W ⊥ ] + + U 2 [ W , V W ⊥ ] ⊥ ) y (21)
这里 U 2 ∈ ℝ k × n 是任意,特别地
B L U E M 2 ( A * α ) = ( [ A * , 0 ] [ W , V W ⊥ ] + + U 2 [ W , V W ⊥ ] ⊥ ) y (22)
这里 U 2 ∈ ℝ k × n 是任意。下面结论成立。
(a) B L U P M 2 ( ϕ ) 和 B L U P M 2 ( ϕ ) 与 ϕ 的协方差矩阵如下
D [ B L U P M 2 ( ϕ ) ] = [ A * , N W ⊥ ] [ W , V W ⊥ ] + V ( [ A , N W ⊥ ] [ W , V W ⊥ ] + ) ′ (23)
C o v ( B L U P M 2 ( ϕ ) , ϕ ) = [ A * , N W ⊥ ] [ W , V W ⊥ ] + X ˜ Σ H ′ (24)
D ( ϕ ) − D [ B L U P M 2 ( ϕ ) ] = H Σ H ′ − [ A * , N W ⊥ ] [ W , V W ⊥ ] + V ( [ A * , N W ⊥ ] [ W , V W ⊥ ] + ) ′ (25)
D [ ϕ − B L U P M 2 ( ϕ ) ] = ( [ A * , N W ⊥ ] [ W , V W ⊥ ] + X ˜ − H ) Σ ( [ A * , N W ⊥ ] [ W , V W ⊥ ] + X ˜ − H ) ′ (26)
(b) ϕ 的 B L U P s 能被分解为
B L U P M 2 ( ϕ ) = B L U P M 2 ( A α ) + B L U P M 2 ( B γ ) + B L U P M 2 ( C ε ) (27)
(c) 对所有的 T ∈ ℝ t × s 满足 B L U P M 2 ( T ϕ ) = T B L U P M 2 ( ϕ ) 。
(d) 特别地
B L U P M 2 ( A α ) = ( [ A * , 0 ] [ W , V W ⊥ ] + + U 2 [ W , V W ⊥ ] ) y (28)
D ( B L U P M 2 ( A α ) ) = [ A * , 0 ] [ W , V W ⊥ ] + V ( [ A * , 0 ] [ W , V W ⊥ ] + ) ′ (29)
这里 U 2 ∈ ℝ k × n 是任意的。
根据第三节中得到的两模型未知参数向量函数 ϕ 的BLUP的解析表达式,并通过第二节中矩阵秩方法,我们推导出两模型未知参数向量函数 ϕ 的BLUP相等的各种等价条件。假设(7)中向量 ϕ 在(2)下可预测,因此,由(13)和(21)中的BLUP
B L U P M 1 ( ϕ ) = L 1 y 和 B L U P M 2 ( ϕ ) = L 2 y (30)
其中 L 1 , L 2 如下所示
L 1 = [ A , N X ^ ⊥ ] [ X ^ , V X ^ ⊥ ] + + U 1 [ X ^ , V X ^ ⊥ ] ⊥ (31)
L 2 = [ A * , N W ⊥ ] [ W , V W ⊥ ] + + U 2 [ W , V W ⊥ ] ⊥ (32)
这里 U 1 , U 2 ∈ ℝ k × n 是任意的。因为(30)中的 L 1 , L 2 分别是方程(13)和(21)的解,这里存在 B L U P M 1 ( ϕ ) , B L U P M 2 ( ϕ ) 满足 B L U P M 1 ( ϕ ) = B L U P M 2 ( ϕ ) ,当且仅当两个矩阵方程有共同的解等式成立。
定理2:向量 ϕ 分别在模型(1)和模型(2)下可预测,且(22)成立, B L U P M 1 ( ϕ ) , B L U P M 2 ( ϕ ) 分别如(13)、(21)所示,下面结论等价。
(a) B L U P M 1 ( ϕ ) = B L U P M 2 ( ϕ ) ;
(b) r [ V X ^ F X ^ ′ 0 0 N A 0 ] = r [ V X ^ F X ^ ′ 0 0 ] ;
(c) r [ F ⊥ V X ^ ⊥ F ⊥ X ^ N X ^ ⊥ A ] = r [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] ;
(d) R ( [ N A 0 ] ′ ) ⊆ R ( [ V X ^ F X ^ ′ 0 0 ] ′ ) ;
(e) R ( [ N X ^ ⊥ , A ] ′ ) ⊆ R ( [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] ′ ) 。
证明:定理2:合并(13)和(21)得到一个新的方程如下
L 0 [ X ^ , V X ^ ⊥ , W , V W ⊥ ] = [ A , N X ^ ⊥ , A * , N W ⊥ ]
根据引理3,该方程有一个解的 L 0 当且仅当
r [ X ^ V X ^ ⊥ W V W ⊥ A N X ^ ⊥ A * N W ⊥ ] = r [ X ^ , V X ^ ⊥ , W , V W ⊥ ]
r [ X ^ V X ^ ⊥ W V W ⊥ A N X ^ ⊥ A * N W ⊥ ] = r [ X ^ V X ^ ⊥ X ^ F V W ⊥ A N X ^ ⊥ A 0 N W ⊥ ] = r [ X ^ V X ^ ⊥ F A N X ^ ⊥ 0 ] = r [ V X ^ F X ^ 0 0 N A 0 ] − r ( X ^ ) ( by ( 11 ) and X ⊥ = F X ′ ) = r [ F ⊥ V X ^ ⊥ F ⊥ X ^ N X ^ ⊥ A ] + r ( F ) ( by (12) )
r [ X ^ , V X ^ ⊥ , W , V W ⊥ ] = r [ X ^ , V X ^ ⊥ , X ^ , 0 , V W ⊥ ] = r [ V X ^ F X ^ 0 0 ] − r ( X ^ ) = r [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] + r (D)
当向量 ϕ 的表达式不同时,所得到的相关未知参数BLUP的解析表达以也不同,因此我们得到以下相关推论。
推论1:向量 A α 分别在模型(1)和模型(2)下可预测,并且 B L U P M 1 ( A α ) , B L U P M 2 ( A α ) 分别如(14),(22)所示,下面结论等价。
(a) B L U E M 1 ( A α ) = B L U E M 2 ( A α ) ;
(b) r [ V X ^ F X ^ ′ 0 0 0 A 0 ] = r [ V X ^ F X ^ ′ 0 0 ] ;
(c) r [ F ⊥ V X ^ ⊥ F ⊥ X ^ 0 A ] = r [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] ;
(d) R ( [ 0 A 0 ] ′ ) ⊆ R ( [ V X ^ F X ^ ′ 0 0 ] ′ ) ;
(e) R ( [ 0 , A ] ′ ) ⊆ R ( [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] ′ ) 。
(f) 特别地,下面结论等价。
(I) 这里存在 B L U E M 1 ( X Z α ) ,
(II) r [ V X ^ F X ^ ′ 0 0 0 X ^ 0 ] = r [ V X ^ F X ^ ′ 0 0 ] ;
(III) r [ F ⊥ V X ^ ⊥ F ⊥ X ^ 0 X ^ ] = r [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] ;
(IV) R ( [ 0 , X ^ , 0 ] ′ ) ⊆ R ( [ V X ^ F X ^ ′ 0 0 ] ′ ) ;
(V) R ( [ 0 , X ^ ] ′ ) ⊆ R ( [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] ′ ) 。
推论2:向量 X β 分别在模型(1)和模型(2)下可预测,并且 B L U P M 1 ( X β ) , B L U P M 2 ( X β ) 分别由(13),(21)所给出,下面结论等价。
(a) B L U P M 1 ( X β ) = B L U P M 2 ( X β ) ;
(b) r [ V X ^ F X ^ ′ 0 0 X Σ X ˜ ′ X ^ 0 ] = r [ V X ^ F X ^ ′ 0 0 ] ;
(c) r [ F ⊥ V X ^ ⊥ F ⊥ X ^ X Σ X ˜ ′ X ^ ⊥ X ^ ] = r [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] ;
(d) R ( [ X Σ X ˜ ′ , X ^ , 0 ] ′ ) ⊆ R ( [ V X ^ F X ^ ′ 0 0 ] ′ ) ;
(e) R ( [ X Σ X ˜ ′ X ^ ⊥ , X ^ ] ′ ) ⊆ R ( [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] ′ ) 。
推论3:向量 ε 分别在模型(1)和模型(2)下可预测,并且 B L U P M 1 ( ε ) , B L U P M 2 ( ε ) 分别由(13),(21)所给出,下面结论等价。
(a) B L U P M 1 ( ε ) = B L U P M 2 ( ε ) ;
(b) r [ V X ^ F X ^ ′ 0 0 S Σ X ^ ′ 0 0 ] = r [ V X ^ F X ^ ′ 0 0 ] ;
(c) r [ F ⊥ V X ^ ⊥ F ⊥ X ^ S Σ X ^ ′ X ^ ⊥ 0 ] = r [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] ;
(d) R ( [ S Σ X ^ ′ , 0 , 0 ] ′ ) ⊆ R ( [ V X ^ F X ^ ′ 0 0 ] ′ ) ;
(e) R ( [ S Σ X ^ ′ X ^ ⊥ , 0 ] ′ ) ⊆ R ( [ F ⊥ V X ^ ⊥ , F ⊥ X ^ ] ′ ) 。
蔡 亚,张筑秋,叶义琴. 两线性随机效应模型未知参数函数预测量的等价性研究Equivalence Study of Unknown Parameter Function Predictors under Two Linear Random Effects Models[J]. 应用数学进展, 2019, 08(10): 1602-1610. https://doi.org/10.12677/AAM.2019.810188