DOI:10.12677/aam.2024.138352,PDF,HTML,XML,被引量下载: 18浏览: 95
作者:冯 莉：大连交通大学理学院，辽宁 大连
关键词:JBLD；欧氏度量；影响函数；正定矩阵流形；JBLD；Euclidean Metric；Influence Function；Positive Definite Matrix Manifold

文章引用：冯莉. JBLD均值的影响函数及鲁棒性分析[J]. 应用数学进展, 2024, 13(8): 3694-3701. https://doi.org/10.12677/aam.2024.138352

1. 引言

正定矩阵流形作为一般线性群的一个经典子流，在最优控制、信号处理、经济学、金融学、计算机科学等多个领域中都展现出了其独特的应用价值[1]-[5]。通过利用其独特的性质和数学结构，可以为解决实际问题提供有效的数学方法和工具。在正定矩阵流形上，可以定义多种距离和散度来量化正定矩阵之间的差异。常用的距离和散度包括欧氏距离、仿射不变黎曼距离、对数欧氏距离、Kullback-Leibler divergence散度和Symmetry Kullback-Leibler divergence散度等。由于正定矩阵流形是一个非线性的黎曼流形，需要使用流形上的几何结构来定义均值，不同的距离或散度可以诱导出不同的均值矩阵定义。影响函数(Influence Function)在分析统计估计量的稳健性时非常有用，它衡量了单个数据点对估计量的影响。在正定矩阵流形上，当数据(即正定矩阵)被异常值污染时，影响函数可以量化这些异常值如何影响平均值的估计精度。许多专家学者致力于研究不同度量下矩阵均值的影响函数。文献[6]计算了正定矩阵流形上算术均值的影响函数。文献[7]分别计算了仿射不变黎曼距离、Total Square Loss散度、Total Log-determiant散度和Total Von Neumann所对应的影响函数。本文研究当正定矩阵流形上的数据点被异常值污染时，JBLD均值矩阵的影响函数和稳定性。首先介绍正定矩阵流形上常用的度量、距离和均值矩阵；进而给出JBLD均值矩阵的影响函数，并给出固定点迭代算法；最后利用数值模拟验证JBLD均值矩阵比算术均值矩阵更具有鲁棒性。

2. 欧氏度量和JBLD度量的几何结构

设A为n阶正定矩阵，即满足 $A^{\text{T}}=A$， $x^{\text{T}}Ax\ge 0$当且仅当 $x=0$等号成立。由n阶正定矩阵全体构成的微分流形被称为正定矩阵流形，记为 $SPD\left(n\right)$。可以在 $SPD\left(n\right)$上定义不同的度量，进而得到不同的几何结构[8][9]。

对于 $SPD\left(n\right)$矩阵 $X_1,\cdots ,X_m$，与几何测度相关的几何均值估计量是几何均值平方和的最小值的唯一解。

$\bar{X}=\text{arc}\min \frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}{d}^2}\left(X,X_i\right)$。

首先，可以在 $SPD\left(n\right)$上定义欧氏内积

$g\left(X,Y\right)=tr\left(X^{\text{T}}Y\right)$。

式中 $X,Y$为流形上任一点的切向量， $tr(\cdot )$表示矩阵的迹。在欧氏内积下，过 $A,B\in SPD\left(n\right)$两点的测地线。

$SPD\left(n\right)$可以表示为

$\gamma \left(t\right)=\left(1-t\right)A+tB$。

上式中t为参数。由此可知，测地线 $\gamma \left(t\right)$并不完全落到 $SPD\left(n\right)$上。测地距离是流形上连接两个矩阵的最短曲线的长度。由欧氏内积的式子可以得到 $A,B$之间的测地距离

$d\left(A,B\right)={\Vert A-B\Vert }_F$，

其中 $\Vert \cdot \Vert$为Frobenius范数， $\Vert X\Vert =\sqrt{tr\left(X^{\text{T}}X\right)}$。

对于欧氏度量， $X_1,\cdots ,X_m$的均值矩阵即为算术均值 $\bar{X}:=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}{X}_i}$。

其次，两个矩阵 $X,Y\in SPD\left(n\right)$的JBLD定义为[5]

$d_j^2\left(X,Y\right)=\ln \det \left(\frac{X+Y}{2}\right)-\frac{1}{2}\ln \det \left(XY\right)$。

对于JBLD， $X_1,\cdots ,X_m$的均值矩阵为[7]

${\bar{X}}_{t+1}={\left(\frac{1}{K}{\displaystyle \underset{i=1}{\overset{K}{\sum }}{\left(\frac{{\bar{X}}_t+X_i}{2}\right)}^{-1}}\right)}^{-1}$， $t=0,1,\cdots$。

3. JBLD均值矩阵的影响函数

影响函数在许多领域有重要作用，例如物理、化学、生物学等。此外影响函数还可以用于预测和建模，通过理解和分析影响函数，可以预测当自变量发生变化时，因变量可能会如何变化。这对于制定决策、规划未来和解决问题都非常有用。本章主要研究JBLD均值矩阵对应的影响函数。

对于m个 $SPD\left(n\right)$上的矩阵 $X_1,\cdots ,X_m$， $\bar{X}$表示 $X_1,\cdots ,X_m$的均值矩阵。 $\hat{X}$表示这m个正定矩阵受到n个异常值的污染之后的均值矩阵。这n个异常值记为 $P_1,\cdots ,P_n$，其中异常值的权重为 $\epsilon$。那么， $\hat{X}$可以被定义为一个扰动

$\hat{X}=\bar{X}+\epsilon H\left(\bar{X},P_1,\cdots ,P_n\right)+O\left({\epsilon }^2\right)$。

定理1：JBLD均值矩阵对应的影响函数满足下面矩阵方程

$\frac{1}{n}{\displaystyle \underset{j}{\sum }\left[{\left(\frac{\bar{X}+P_j}{2}\right)}^{-1}-{\bar{X}}^{-1}\right]}+\frac{1}{m}{\displaystyle \underset{i}{\sum }\left[-{\left(\frac{\bar{X}+X_i}{2}\right)}^{-1}\frac{H}{2}{\left(\frac{\bar{X}+X_i}{2}\right)}^{-1}+{\bar{X}}^{-1}H{\bar{X}}^{-1}\right]}=0$。

证明：为了计算相关的影响函数，定义 $\hat{X}$为 $m+n$个 $SPD\left(n\right)$矩阵的最小化目标函数，即

$\hat{X}=\text{arc}\min \left[\left(1-\epsilon \right)\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}{d}^2\left(X,X_i\right)}+\epsilon \frac{1}{n}{\displaystyle \underset{j=1}{\overset{n}{\sum }}{d}^2\left(X,P_j\right)}\right]$。

计算 $\bar{X}$的目标函数 $F\left(X\right)$为

$F\left(X\right)=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}{d}^2}\left(X,X_i\right)$。

计算 $\hat{X}$的目标函数 $G\left(X\right)$(异常值权重为 $\epsilon$)为

$G\left(X\right)=\left(1-\epsilon \right)\frac{1}{m}{\displaystyle \underset{i}{\sum }{d}^2}\left(X,X_i\right)+\epsilon \frac{1}{n}{\displaystyle \underset{j}{\sum }{d}^2}\left(X,P_j\right)$。

从上式可以看出，为了计算 $G\left(X\right)$的梯度 $\nabla G\left(X\right)$，只需计算 $F\left(X\right)$的梯度 $\nabla F\left(X\right)$。设 $Z\left(t\right):=X+tY$，有

$\begin{array}{l}\langle \nabla F\left(X\right),Y\rangle :={\frac{\text{d}}{\text{d}t}|}_{t=0}F\left(X+tY\right)\\ ={\frac{\text{d}}{\text{d}t}|}_{t=0}F\left(Z\left(t\right)\right)\\ ={\frac{\text{d}}{\text{d}t}|}_{t=0}\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}{d}_j^2\left(Z\left(t\right),X_i\right)}\\ ={\frac{\text{d}}{\text{d}t}|}_{t=0}\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}\left(\ln \left|\frac{Z\left(t\right)+X_i}{2}\right|-\frac{1}{2}\ln \left(\left|Z\left(t\right)\right|\cdot \left|X_i\right|\right)\right)}\\ =\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}\left({\frac{\text{d}}{\text{d}t}|}_{t=0}\ln \left|\frac{Z\left(t\right)+X_i}{2}\right|-\frac{1}{2}{\frac{\text{d}}{\text{d}t}|}_{t=0}\ln \left(\left|Z\left(t\right)\right|\cdot \left|X_i\right|\right)\right)}\end{array}$

首先计算第一项，有

$\begin{array}{c}\frac{\text{d}}{\text{d}t}\ln \left|\frac{Z\left(t\right)+X_i}{2}\right|=\frac{1}{\left|\frac{Z\left(t\right)+X_i}{2}\right|}\cdot \frac{\text{d}}{\text{d}t}\left|\frac{Z\left(t\right)+X_i}{2}\right|\\ =\frac{1}{\left|\frac{Z\left(t\right)+X_i}{2}\right|}\left|\frac{Z\left(t\right)+X_i}{2}\right|tr\left({\left(\frac{Z\left(t\right)+X_i}{2}\right)}^{-1}\frac{\text{d}}{\text{d}t}\left|\frac{Z\left(t\right)+X_i}{2}\right|\right)\\ =tr\left({\left(\frac{Z\left(t\right)+X_i}{2}\right)}^{-1}\cdot \frac{1}{2}\cdot \frac{\text{d}Z\left(t\right)}{\text{d}t}\right)\end{array}$

令t= 0时，有

${\frac{\text{d}}{\text{d}t}|}_{t=0}\ln \left|\frac{Z\left(t\right)+X_i}{2}\right|=\frac{1}{2}tr\left({\left(\frac{X+X_i}{2}\right)}^{-1}Y\right)$。

其次计算第二项，有

$\begin{array}{c}\frac{\text{d}}{\text{d}t}\ln \left(\left|Z\left(t\right)\right|\cdot \left|X_i\right|\right)=\frac{1}{\left|Z\left(t\right)\right|\cdot \left|X_i\right|}\frac{\text{d}}{\text{d}t}\left(\left|Z\left(t\right)\right|\cdot \left|X_i\right|\right)\\ =\frac{1}{\left|Z\left(t\right)\right|}\frac{\text{d}\left|Z\left(t\right)\right|}{\text{d}t}\\ =\frac{1}{\left|Z\left(t\right)\right|}\cdot \left|Z\left(t\right)\right|tr\left(Z{\left(t\right)}^{-1}\frac{\text{d}Z\left(t\right)}{\text{d}t}\right)\\ =tr\left(Z{\left(t\right)}^{-1}\frac{\text{d}Z\left(t\right)}{\text{d}t}\right)\end{array}$

令t= 0时，有

${\frac{\text{d}}{\text{d}t}|}_{t=0}\ln \left(\left|Z\left(t\right)\right|\cdot \left|X_i\right|\right)=tr\left(X^{-1}Y\right)$。

故

$\langle \nabla F\left(X\right),Y\rangle :=\langle \frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}\left[\frac{1}{2}{\left(\frac{X+X_i}{2}\right)}^{-1}-\frac{1}{2}{X}^{-1}\right]},Y\rangle$。

所以，

$\nabla F\left(X\right)=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}\left[\frac{1}{2}{\left(\frac{X+X_i}{2}\right)}^{-1}-\frac{1}{2}{X}^{-1}\right]}$。

同理，可以得到

$\nabla G\left(X\right)=\left(1-\epsilon \right)\frac{1}{m}{\displaystyle \underset{i}{\sum }\left[\frac{1}{2}{\left(\frac{X+X_i}{2}\right)}^{-1}-\frac{1}{2}{X}^{-1}\right]}+\epsilon \frac{1}{n}{\displaystyle \underset{j}{\sum }\left[\frac{1}{2}{\left(\frac{X+P_j}{2}\right)}^{-1}-\frac{1}{2}{X}^{-1}\right]}$。

因为 $\hat{X}$为 $\nabla G\left(X\right)$的最小值点，所以 $\nabla G\left(\hat{X}\right)=0$，即

$\left(1-\epsilon \right)\frac{1}{m}{\displaystyle \underset{i}{\sum }\left[\frac{1}{2}{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}-\frac{1}{2}{\hat{X}}^{-1}\right]}+\epsilon \frac{1}{n}{\displaystyle \underset{j}{\sum }\left[\frac{1}{2}{\left(\frac{\hat{X}+P_j}{2}\right)}^{-1}-\frac{1}{2}{\hat{X}}^{-1}\right]=0}$。

因为

$\hat{X}=\bar{X}+\epsilon H\left(\bar{X},P_1,\cdots ,P_n\right)+O\left({\epsilon }^2\right)$。

所以为了求H，上式对 $\epsilon$求导，再令 $\epsilon =0$，有

$\begin{array}{l}-\frac{1}{m}{\displaystyle \underset{i}{\sum }\left[{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}-{\hat{X}}^{-1}\right]}+\left(1-\epsilon \right)\frac{1}{m}{\displaystyle \underset{i}{\sum }\frac{\text{d}}{\text{d}\epsilon }\left[{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}-{\hat{X}}^{-1}\right]}\\ +\frac{1}{n}{\displaystyle \underset{j}{\sum }\left[{\left(\frac{\hat{X}+P_j}{2}\right)}^{-1}-X^{-1}\right]}+\epsilon \frac{1}{n}{\displaystyle \underset{j}{\sum }\frac{\text{d}}{\text{d}\epsilon }\left[{\left(\frac{\hat{X}+P_j}{2}\right)}^{-1}-{\hat{X}}^{-1}\right]}=0\end{array}$

令 $\epsilon =0$(当 $\epsilon =0$时， $\hat{X}=\bar{X}$)，

$-\frac{1}{m}{\displaystyle \underset{i}{\sum }\left[{\left(\frac{\bar{X}+X_i}{2}\right)}^{-1}-{\bar{X}}^{-1}\right]}+\frac{1}{m}{\displaystyle \underset{i}{\sum }\frac{\text{d}}{\text{d}\epsilon }\left[{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}-{\hat{X}}^{-1}\right]}+\frac{1}{n}{\displaystyle \underset{j}{\sum }\left[{\left(\frac{\bar{X}+P_j}{2}\right)}^{-1}-{\bar{X}}^{-1}\right]}=0$。

因为

$\nabla F\left(\bar{X}\right)=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}\left[{\left(\frac{\bar{X}+X_i}{2}\right)}^{-1}-{\bar{X}}^{-1}\right]}=0$。(1)

所以(1)变为

$\frac{1}{n}{\displaystyle \underset{j}{\sum }\left[{\left(\frac{\bar{X}+P_j}{2}\right)}^{-1}-{\bar{X}}^{-1}\right]}+\frac{1}{m}{\displaystyle \underset{i}{\sum }\frac{\text{d}}{\text{d}\epsilon }\left[{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}-{\hat{X}}^{-1}\right]}=0$。

根据文献[10]中的求导法则，可得

$\begin{array}{c}0=\frac{\text{d}}{\text{d}\epsilon }I\\ =\frac{\text{d}}{\text{d}\epsilon }\left[{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}\left(\frac{\hat{X}+X_i}{2}\right)\right]\\ =\frac{\text{d}}{\text{d}\epsilon }{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}\left(\frac{\hat{X}+X_i}{2}\right)+{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}\frac{\text{d}}{\text{d}\epsilon }\left(\frac{\hat{X}+X_i}{2}\right)\end{array}$

所以

$\frac{\text{d}}{\text{d}\epsilon }{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}=-{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}\frac{\text{d}}{\text{d}\epsilon }\left(\frac{\hat{X}+X_i}{2}\right){\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}$。

即

$\frac{\text{d}}{\text{d}\epsilon }{\hat{X}}^{-1}=-{\hat{X}}^{-1}\frac{\text{d}}{\text{d}\epsilon }\hat{X}{\hat{X}}^{-1}$。

得到

$\frac{1}{n}{\displaystyle \underset{j}{\sum }\left[{\left(\frac{\bar{X}+P_j}{2}\right)}^{-1}-{\bar{X}}^{-1}\right]}+\frac{1}{m}{\displaystyle \underset{i}{\sum }\left[-{\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}\frac{\text{d}}{\text{d}\epsilon }\left(\frac{\hat{X}+X_i}{2}\right){\left(\frac{\hat{X}+X_i}{2}\right)}^{-1}+{\hat{X}}^{-1}\frac{\text{d}}{\text{d}\epsilon }\hat{X}{\hat{X}}^{-1}\right]}=0$。

即，

$\frac{1}{n}{\displaystyle \underset{j}{\sum }\left[{\left(\frac{\bar{X}+P_j}{2}\right)}^{-1}-{\bar{X}}^{-1}\right]}+\frac{1}{m}{\displaystyle \underset{i}{\sum }\left[-{\left(\frac{\bar{X}+X_i}{2}\right)}^{-1}\frac{H}{2}{\left(\frac{\bar{X}+X_i}{2}\right)}^{-1}+{\bar{X}}^{-1}H{\bar{X}}^{-1}\right]}=0$。

证明完毕。

注意到定理1中JBLD均值矩阵的影响函数是隐式表达式，所以给出下面的固定点迭代算法。

算法1：计算JBLD均值矩阵的影响函数的迭代算法为

$H_{t+1}=\frac{2}{m}{\displaystyle \underset{i}{\sum }\bar{X}{\left(\bar{X}+X_i\right)}^{-1}{H}_t{\left(\bar{X}+X_i\right)}^{-1}\bar{X}+\bar{X}-}\frac{2}{n}{\displaystyle \underset{j}{\sum }\bar{X}{\left(\bar{X}+P_j\right)}^{-1}\bar{X}}$

其中 $t=0,1,\cdots$，取 $H_0=E$。

4. 数值结果和讨论

下面通过数值实验比较欧氏度量和JBLD对应的影响函数和稳定性。在这些模拟中， $SPD\left(n\right)$上的正定矩阵产生的公式为：

$\text{exp}\left(\frac{V+V^{\text{T}}}{2}\right)$

其中 $V\in {ℝ}^{n\times n}$是指由MATLAB生成的随机矩阵。显然， $\frac{V+V^{\text{T}}}{2}$是对称矩阵。

为了影响函数的计算不是一般性，考虑100个随机生成的对称正定矩阵使用算法1进行数值模拟，如图1所示。可以看出，几何度量JBLD对应的影响函数的范数对异常值的变化不敏感，它一直保持在接近0.2的范围内。另一方面，欧氏度量影响函数的范数波动显著。因此，正定矩阵流形上的JBLD均值比算术均值更稳定。

图2为图1中欧氏度量和JBLD度量的100次数值模拟的平均值，提供了一个更直观的表示。从图2可以看出，与使用JBLD度量获得的影响函数值相比，欧氏度量的影响函数具有更大的范数值。这进一步支持了JBLD均值比算术均值更具鲁棒性。

Figure 1.Norm of influence function

图1.影响函数的范数

Figure2.Mean of the influence function

图2.影响函数的均值

5. 结论

本文首先概述正定矩阵流形的几何结构，包括欧氏度量和JBLD度量及它们的测地距离和均值矩阵，进而计算JBLD均值的影响函数，并给出固定点迭代算法，JBLD度量比欧氏度量在正定矩阵流形上增加了计算的难度，但最后利用数值模拟验证JBLD均值矩阵比算术均值矩阵更具有鲁棒性。

基金项目

国家自然科学基金项目(No. 61401058)；辽宁省教育厅科学研究经费项目(JYTMS20230010)。

参考文献

[1]	Ono, Y. and Peng, L. (2022) Towards a Median Signal Detector through the Total Bregman Divergence and Its Robustness Analysis.Signal Processing, 201, Article 108728. https://doi.org/10.1016/j.sigpro.2022.108728
[2]	孙华飞, 张真宁, 彭林玉, 等. 信息几何导引[M]. 北京: 科学出版社, 2016.
[3]	Hua, X., Ono, Y., Peng, L., Cheng, Y. and Wang, H. (2021) Target Detection within Nonhomogeneous Clutter via Total Bregman Divergence-Based Matrix Information Geometry Detectors.IEEE Transactions on Signal Processing, 69, 4326-4340. https://doi.org/10.1109/tsp.2021.3095725
[4]	孙华飞, 宋扬, 罗翼昊, 等. 一种基于统计流形的聚类算法[J]. 北京理工大学学报, 2021, 41(2): 226-230.
[5]	Hua, X. and Peng, L. (2021) MIG Median Detectors with Manifold Filter.Signal Processing, 188, Article 108176. https://doi.org/10.1016/j.sigpro.2021.108176
[6]	Hua, X., Ono, Y., Peng, L., Cheng, Y. and Wang, H. (2021) Target Detection within Nonhomogeneous Clutter via Total Bregman Divergence-Based Matrix Information Geometry Detectors.IEEE Transactions on Signal Processing, 69, 4326-4340. https://doi.org/10.1109/tsp.2021.3095725
[7]	Hua, X., Cheng, Y., Wang, H. and Qin, Y. (2018) Robust Covariance Estimators Based on Information Divergences and Riemannian Manifold.Entropy, Article 219. https://doi.org/10.3390/e20040219
[8]	Duan, X., Sun, H. and Peng, L. (2020) Application of Gradient Descent Algorithms Based on Geodesic Distances.Science China Information Sciences, 63, Article No. 152201. https://doi.org/10.1007/s11432-019-9911-5
[9]	Moakher, M. (2005) A Differential Geometric Approach to the Geometric Mean of Symmetric Positive-Definite Matrices.SIAM Journal on Matrix Analysis and Applications, 26, 735-747. https://doi.org/10.1137/s0895479803436937
[10]	张贤达. 矩阵分析与应用[M]. 北京: 清华大学出版社, 2014.