DOI:10.12677/aam.2024.139423,PDF,HTML,XML,被引量下载: 13浏览: 94
作者:蔡泽福：云南师范大学数学学院，云南 昆明
关键词:张量；特征值；梯度神经网络；Tensor；Eigenvalue；Gradient Neural Network

文章引用：蔡泽福. 梯度神经网络方法求解含有绝对值形式张量特征值[J]. 应用数学进展, 2024, 13(9): 4442-4448. https://doi.org/10.12677/aam.2024.139423

1. 介绍

2005年，Qi在[1]中提出了张量特征值的概念，即，令 $\mathcal{A}=\left(a_{i_1{i}_2\cdots i_m}\right)$是一个m阶n维张量，若存在一个数 $\lambda \in C$和非零向量 $x\in C^n$满足

$\mathcal{A}{x}^{m-1}=\lambda x^{\left[m-1\right]}$，

则 $\lambda$叫做张量 $\mathcal{A}$的特征值，x叫做 $\lambda$所对应的特征向量，其中 $\mathcal{A}{x}^{m-1}$和 $x^{\left[m-1\right]}$都表示一个n维向量，且

${\left(\mathcal{A}{x}^{m-1}\right)}_i={\displaystyle \underset{i_2\cdots i_m}{\overset{n}{\sum }}{a}_{i{i}_2\cdots i_m}}{x}_{i_2}\cdots x_{i_m},\forall i=\{i=1,2,\cdots ,n\},$

${\left(x^{\left[m-1\right]}\right)}_i=x_i^{m-1}.$

若 $\lambda$和x都属于实数域，则 $\left(\lambda ,x\right)$叫做张量 $\mathcal{A}$的H-特征对。此外，Qi也在[1]中定义了Z-特征值，即，若存在数 $\lambda \in R$和向量 $x\in R^n$满足

$\{\begin{array}{l}\mathcal{A}{x}^{m-1}=\lambda x,\\ x^{\text{T}}x=1,\end{array}$(1.1)

则称特征对 $\left(\lambda ,x\right)$是Z-特征对。值得注意的是， $\lambda$和x属于复数域时，称特征对 $\left(\lambda ,x\right)$为E-特征对。

张量Z-特征值在许多实际问题中都被运用，如自动控制[2]，人脑科学[3]，统计数据分析中的最佳秩一逼近[4]等领域。为此，很多学者对张量Z-特征值的求解展开了研究。

目前，已经有许多计算对称或非负张量Z-特征对的算法，但是结合[5]中的张量绝对值方程

$\mathcal{A}{x}^{m-1}-\left|x\right|=b,$(1.2)

以及张量Z-特征值的一般形式(1.1), 考虑形式为

$\{\begin{array}{l}\mathcal{A}{x}^{m-1}=\lambda \left|x\right|,\\ x^{\text{T}}x=1,\end{array}$(1.3)

的特征值问题。其中 $\mathcal{A}$是非奇异张量， $\left|x\right|={\left(\left|x_1\right|,\left|x_2\right|,\cdots ,\left|x_n\right|\right)}^{\text{T}}$，受[6]启示，(1.3)可改写成

$\{\begin{array}{l}\mathcal{A}{x}^{m-1}=\lambda Dx,\\ x^{\text{T}}x=1,\end{array}$

其中 $D=\left(d_{ij}\right)\in R^{n\times n}$，是一个对角矩阵，其主对角线元素 $d_{ii}$满足

$d_{ii}=\{\begin{array}{l}1,x_i>0,\\ 0,x_i=0,\\ -1,x_i<0.\end{array}$

该问题涉及到绝对值，其在原点处是不可微的。据我们所知该问题还未研究，这便是本文的研究意义。

求解(1.3)中 $\lambda$和x的过程实际上是求解约束化非线性方程组的问题。非线性方程组的求解方法有许多，比如说梯度投影法、罚函数法等。在本文，我们用梯度神经网络方法求解含有绝对值形式的张量特征值和特征向量。

2. 构造梯度神经网络模型

梯度神经网络现在已经被认为是数值计算中的一个强大的算法[4]，在矩阵求逆和Drazin逆[5]，线性和非线性方程组[6]的求解等领域有着十分重要的作用。鉴于其高速处理特性和在实际应用中硬件实现的方便性，更多梯度神经网络求解线性方程组与非线性方程组问题见[7]-[10]。

为了监测和控制(1.3)的求解过程，根据梯度神经网络方法设计思路[11]，首先定义一个误差函数

$E\left(x\left(t\right),\lambda \left(t\right)\right):=\mathcal{A}x{\left(t\right)}^{m-0}-\lambda \left(t\right)Dx\left(t\right)\in R^n.$(2.1)

为了迫使 $E\left(x\left(t\right),\lambda \left(t\right)\right)$收敛于零。类似于[12]的工作，接着定义一个监测误差函数

$e\left(x\left(t\right),\lambda \left(t\right)\right):=\frac{1}{2}{\Vert \mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)\Vert }_2^2\in R.$

显然，当监测误差函数 $e\left(x\left(t\right),\lambda \left(t\right)\right)$收敛于零时， $E\left(x\left(t\right),\lambda \left(t\right)\right)$也收敛于零。

为了实现 $E\left(x\left(t\right),\lambda \left(t\right)\right)$收敛到零的目的，根据梯度神经网络设计方法，监测误差函数的负梯度方向作为下降方向，即

$\{\begin{array}{l}\frac{\text{d}x}{\text{d}t}=-{\gamma }_1\frac{\partial e\left(x\left(t\right),\lambda \left(t\right)\right)}{\partial x},\\ \frac{\text{d}\lambda }{\text{d}t}=-{\gamma }_2\frac{\partial e\left(x\left(t\right),\lambda \left(t\right)\right)}{\partial \lambda }.\end{array}$(2.2)

把(2.2)展开，有

$\{\begin{array}{l}\frac{\text{d}x}{\text{d}t}=-{\gamma }_1{\left(\left(m-1\right)\mathcal{A}{x}^{m-2}-\lambda DI\right)}^{\text{T}}\left(\mathcal{A}{x}^{m-1}-\lambda Dx\right),\\ \frac{\text{d}\lambda }{\text{d}t}={\gamma }_2{\left(Dx\right)}^{\text{T}}\left(\mathcal{A}{x}^{m-1}-\lambda Dx\right),\end{array}$(2.3)

其中 ${\gamma }_1>0$和 ${\gamma }_2>0$。

采用欧拉差分对(2.3)进行离散，得

$\{\begin{array}{l}{x}_{k+1}=x_k-{\alpha }_1{\left(\left(m-1\right)\mathcal{A}{x}_k^{m-2}-{\lambda }_k{D}_{k}I\right)}^{\text{T}}\left(\mathcal{A}{x}_k^{m-1}-{\lambda }_k{D}_k{x}_k\right)=x_k-f\left(x_k,{\lambda }_k\right),\\ {\lambda }_{k+1}={\lambda }_k+{\alpha }_2{\left(D_k{x}_k\right)}^{\text{T}}\left(\mathcal{A}{x}_k^{m-1}-{\lambda }_k{D}_k{x}_k\right)={\lambda }_k+g\left(x_{k+1},{\lambda }_k\right),\end{array}$(2.4)

其中 ${\tau }_i$是步长， ${\alpha }_i={\tau }_i{\gamma }_i\left(i=1,2\right)$， ${\tau }_i$应足够小。

故获得了一个计算(1.3)中 $\lambda$和x的算法步骤，如下

步骤一：给定一个张量 $\mathcal{A}\in S^{\left[m,n\right]}$，误差参数 $\epsilon >0$，最大代步数 $k_{\max }$和初始向量 $x_0\in \Sigma =\left\{x|x^{\text{T}}x=1\right\}$；

步骤二：令 ${\alpha }_1,{\alpha }_2>0$， ${\lambda }_0\in R$， $k=0$；

步骤三：当 $k<k_{\max }$时，计算

$x_{k+1}\leftarrow x_k-f\left(x_k,{\lambda }_k\right)$

和

$x_{k+1}\leftarrow \frac{x_{k+1}}{{\Vert x_{k+1}\Vert }_2};$

步骤四：计算

${\lambda }_{k+1}\leftarrow {\lambda }_k+g\left(x_{k+1},{\lambda }_k\right);$

步骤五：当 ${\Vert \mathcal{A}{x}_{k+1}^{m-1}-{\lambda }_{k+1}{D}_{k+1}{x}_{k+1}\Vert }_2<\epsilon$时，输出 $\left(x_{k+1},{\lambda }_{k+1}\right)$；否则返回第三步；

步骤六：结束。

为了证明算法的有效性，在下一小节，将分析算法的稳定性和收敛性。

3. 收敛性分析

本小节，我们讨论所提出的梯度神经网络模型(2.3)的一些收敛性质，首先我们给出定理3.1。

定理3.1方程(2.1)的每一个解 $x_{*}$都是系统(2.3)的平衡点。反过来，若 $\left(\left(m-1\right)\mathcal{A}x{\left(t\right)}^{m-2}-\lambda \left(t\right)D\right)$是非奇异，那么系统(2.3)的平衡点是方程(2.1)的解。

证明：前一部分，显然成立。现证明第二部分。

假定 $x_{*}$是系统(2.3)的平衡点，即

${\frac{\text{d}x}{\text{d}t}|}_{x=x_{*}}=-{\gamma }_1\left(\left(m-1\right)\mathcal{A}{x}_{*}^{m-2}-{\lambda }_{*}D\right)\left(\mathcal{A}{x}^{m-1}-\lambda Dx\right).$

由于 $\left(\left(m-1\right)\mathcal{A}{x}^{m-2}-\lambda D\right)$是非奇异矩阵， ${\gamma }_1>0$，进而有 $\mathcal{A}{x}_{*}^{m-1}-{\lambda }_{*}D{x}_{*}=0$。因此 $\mathcal{A}{x}_{*}^{m-1}={\lambda }_{*}D{x}_{*}$。证毕。

假定 $\left({\lambda }_{*},x_{*}\right)$满足 $\mathcal{A}{x}_{*}^{m-1}={\lambda }_{*}D{x}_{*}$。由[13]可知，平衡点 $x_{*}$附近找到邻域 $\delta >0$，

$B\left(x_{*},\delta \right):=\{x\in R^n|{\Vert x-x_{*}\Vert }_2<\delta \}.$

使得 $\left(\left(m-1\right)\mathcal{A}{x}^{m-2}-\lambda D\right)$是非奇异矩阵。

定理3.2若张量 $\mathcal{A}\in S^{\left[m,n\right]}$满足 $\mathcal{A}{x}_{*}^{m-1}={\lambda }_{*}D{x}_{*}$。初始向量 $x_0\in B\left(x_{*},\delta \right)$，则从初始向量 $x_0$出发的x都会收敛到 $x_{*}$。

证明：构造一个Lyapunov函数

$L\left(t\right)=\frac{1}{2}{\Vert E\left(x\left(t\right),\lambda \left(t\right)\right)\Vert }_2^2=\frac{1}{2}E{\left(x\left(t\right),\lambda \left(t\right)\right)}^{\text{T}}E\left(x\left(t\right),\lambda \left(t\right)\right)\ge 0.$

求 $L\left(t\right)$关于时间t的导数得

$\begin{array}{c}\stackrel{\dot{}}{L}\left(t\right)=\frac{\text{d}L\left(t\right)}{\text{d}t}=E{\left(x\left(t\right),\lambda \left(t\right)\right)}^{\text{T}}\frac{E\left(x\left(t\right),\lambda \left(t\right)\right)}{\text{d}t}\\ ={\left(\mathcal{A}x{\left(t\right)}^{m-0}-\lambda \left(t\right)Dx\left(t\right)\right)}^{\text{T}}\left(\left(m-1\right)\mathcal{A}x{\left(t\right)}^{m-2}-\lambda \left(t\right)D\right)\frac{\text{d}x}{\text{d}t}\\ =-{\gamma }_{1}Tr\left[H\varphi \left({\left(\mathcal{A}x{\left(t\right)}^{m-0}-\lambda \left(t\right)Dx\left(t\right)\right)}^{\text{T}}\left(\mathcal{A}x{\left(t\right)}^{m-0}-\lambda \left(t\right)Dx\left(t\right)\right)\right)\right],\end{array}$(3.1)

其中矩阵 $H={\left(\left(m-1\right)\mathcal{A}x{\left(t\right)}^{m-2}-\lambda \left(t\right)D\right)}^{\text{T}}\left(\left(m-1\right)\mathcal{A}x{\left(t\right)}^{m-2}-\lambda \left(t\right)D\right)$是对称正定。则对任意 $x\in B\left(x_{*},\delta \right)$， $\left(\left(m-1\right)\mathcal{A}x{\left(t\right)}^{m-2}-\lambda \left(t\right)D\right)$是非奇异的，我们有

$\begin{array}{l}{\lambda }_{\min }Tr\left(\varphi \left(\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)\right)\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx{\left(t\right)}^{\text{T}}\right)\right)\right)\\ \le Tr\left(H\varphi \left(\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)\right)\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx{\left(t\right)}^{\text{T}}\right)\right)\right)\\ \le {\lambda }_{\max }Tr\left(\varphi \left(\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)\right)\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx{\left(t\right)}^{\text{T}}\right)\right)\right),\end{array}$

其中 ${\lambda }_{\min }$和 ${\lambda }_{\max }$是矩阵H的最小和最大特征值。函数 $\varphi \left(x\right)=x$是单调递增的奇函数，所以 $-\varphi \left(x\right)=\varphi \left(-x\right)$，再加上

$\varphi \left(x\right)\{\begin{array}{l}>0,x>0,\\ =0,x=0,\\ <0,x<0,\end{array}$

我们可以得到

$x\varphi \left(x\right)\{\begin{array}{l}>0,x\ne 0,\\ =0,x=0.\end{array}$

那么

$Tr\left(\varphi \left(\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)\right)\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx{\left(t\right)}^{\text{T}}\right)\right)\right)\{\begin{array}{l}=0,\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)=0,\\ >0,\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)\ne 0.\end{array}$

参数 ${\gamma }_1>0$，故 $L\left(t\right)$关于时间t的导数满足

$\frac{\text{d}L\left(t\right)}{\text{d}t}\{\begin{array}{l}=0,\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)=0,\\ <0,\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)\ne 0.\end{array}$

因 $L\left(t\right)$是正定函数， $\stackrel{\dot{}}{L}\left(t\right)$是负定函数，满足Lyapunov稳定性条件，故误差函数 $E\left(x\left(t\right),\lambda \left(t\right)\right)$会收敛于零。换句话说，状态向量 $x\left(t\right)$在 $x{\left(t\right)}_{*}$处是渐近稳定的。证毕。

定理3.3模型(2.3)的收敛速率为 ${\gamma }_1\beta$，其中 ${\lambda }_{\min }\left(H\right)$。

证明：根据(3.1)，有

$\begin{array}{c}\frac{\text{d}L\left(t\right)}{\text{d}t}=-{\gamma }_{1}Tr\left(\varphi \left(\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)\right)\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx{\left(t\right)}^{\text{T}}\right)\right)\right)\\ \le -{\gamma }_1\beta Tr\left(\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx\left(t\right)\right)\left(\mathcal{A}x{\left(t\right)}^{m-1}-\lambda \left(t\right)Dx{\left(t\right)}^{\text{T}}\right)\right)\\ \le -2{\gamma }_1\beta L\left(t\right).\end{array}$(3.2)

求解(3.2)得

$L\left(t\right)\le L\left(0\right){\text{e}}^{-2{\gamma }_1\beta }.$

因此

${\Vert E\left(x\left(t\right),\lambda \left(t\right)\right)\Vert }_2\le {\Vert E\left(x\left(t_0\right),\lambda \left(t_0\right)\right)\Vert }_2{\text{e}}^{-{\gamma }_1\beta t}.$

显然，模型的收敛速率为 ${\gamma }_1\beta$。证毕。

4. 数值实验

本小节，我们用一些数值例子来表明提出的梯度神经网络求解该问题的有效性和可行性。例4.1和例4.2均在Python上实验。

例4.1[14]令张量 $\mathcal{A}\in S^{\left[4,2\right]}$，其具体值如下

$\begin{array}{l}{a}_{1111}=a_{2222}=\frac{4}{\sqrt{3}},a_{1112}=a_{1211}=a_{1121}=1,\\ a{}_{2122}=a_{1222}=a_{2212}=a_{2221}.\end{array}$

用梯度神经网络来求解例4.1时，选择误差 $\epsilon ={10}^{-6}$和最大迭代步数 $k_{\max }=1000$。同时，为了方便，取 $\alpha ={\alpha }_1={\alpha }_2$，初始特征值 ${\lambda }_0=0$和特征向量 $x_0={\left(1,0\right)}^{\text{T}}$，获得了部分数值结果见表1。

Table1.Partial results calculated by layered neural networks (1)

表1.梯度神经网络计算出的部分结果(1)

$\lambda$	x	CPU(s)	IT	${\alpha }_1$	error
−3.1547	${\left(-0.7071,-0.7071\right)}^{\text{T}}$	0.0117	19	1	6.72 × 10−8
−3.2525	${\left(-0.8919,-0.4520\right)}^{\text{T}}$	0.0053	17	1.1	4.62 × 10−8
−3.2525	${\left(-0.8919,-0.4520\right)}^{\text{T}}$	0.0076	18	1.08	4.01 × 10−8

例4.2[15]令张量 $\mathcal{A}\left(t\right)\in S^{\left[3,3\right]}$，其具体值如下

$\begin{array}{l}{a}_{111}={\left(t-20\right)}^2+2,\\ a_{211}=a_{121}=a_{112}=\cos \left(t-20\right),\\ a_{311}=a_{131}=a_{113}=-t+21.\end{array}$

其他 $a_{ijk}=0$，其中 $t\in \left[0,20\right]$。

用梯度神经方法求解张量 $\mathcal{A}\left(t\right)$在 $t=20$时的特征值和特征向量，选择初始特征值 ${\lambda }_0=1$，初始特征向量 $x_0={\left(1,1,1\right)}^{\text{T}}$且误差 $\epsilon ={10}^{-7}$。为了简便，取 $\alpha ={\alpha }_1={\alpha }_2$。获得了部分数值结果见表2。

Table 2.Partial results calculated by layered neural networks (2)

表2.梯度神经网络计算出的部分结果(2)

$\lambda$	x	CPU(s)	IT	${\alpha }_1$	error
2	${\left(\text{1,}\text{0,}\text{0}\right)}^{\text{T}}$	0.0024	10	0.9	1.02 × 10−7
2	${\left(\text{1,}\text{0,}\text{0}\right)}^{\text{T}}$	0.0003	1	1	0
2	${\left(\text{1,}\text{0,}\text{0}\right)}^{\text{T}}$	0.0024	11	1.08	1.02 × 10−7

5. 总结

在本文中，利用梯度神经网络方法求解含有绝对值形式的张量特征值和特征向量，数值实验表明了该方法的有效性，不足之处有两点：第一，梯度神经网络方法中的参数 $\alpha$是影响收敛时间和误差的，选择最佳的参数 $\alpha$是目前急需解决的问题；第二，新形式的张量特征值问题涉及到绝对值函数 $\left|x\right|$，由于 $\left|x\right|$是非光滑函数，根据已有研究张量绝对值方程的工作，绝对值函数可以用光滑函数逼近。能否用光滑函数逼近 $\left|x\right|$，然后再用神经网络方法求解，这也是一个值得思考的问题。

参考文献

[1]	Qi, L. (2005) Eigenvalues of a Real Supersymmetric Tensor.Journal of Symbolic Computation, 40, 1302-1324. https://doi.org/10.1016/j.jsc.2005.05.007
[2]	Li, H., Du, S. and Wang, Y. (2020) An Inexact Levenberg-Marquardt Method for Tensor Eigenvalue Complementarity Problem.Pacific Journal of Optimization, 16, 87-99.
[3]	Du, S., Zhang, L., Chen, C. and Qi, L. (2018) Tensor Absolute Value Equations.Science China Mathematics, 61, 1695-1710. https://doi.org/10.1007/s11425-017-9238-6
[4]	Zhang, Y. (2006) A Set of Nonlinear Equations and Inequalities Arising in Robotics and Its Online Solution via a Primal Neural Network.Neurocomputing, 70, 513-524. https://doi.org/10.1016/j.neucom.2005.11.006
[5]	Stanimirovic, P.S., Zivkovic, I.S. and Wei, Y. (2015) Recurrent Neural Network for Computing the Drazin Inverse.IEEE Transactions on Neural Networks and Learning Systems, 26, 2830-2843. https://doi.org/10.1109/tnnls.2015.2397551
[6]	Zhang, Y., Chen, Z. and Chen, K. (2009) Convergence Properties Analysis of Gradient Neural Network for Solving Online Linear Equations.ActaAutomaticaSinica, 35, 1136-1139. https://doi.org/10.3724/sp.j.1004.2009.01136
[7]	Xiao, L. and Zhang, Y. (2014) Solving Time-Varying Inverse Kinematics Problem of Wheeled Mobile Manipulators Using Zhang Neural Network with Exponential Convergence.Nonlinear Dynamics, 76, 1543-1559. https://doi.org/10.1007/s11071-013-1227-7
[8]	Chen, K. (2013) Implicit Dynamic System for Online Simultaneous Linear Equations Solving.Electronics Letters, 49, 101-102. https://doi.org/10.1049/el.2012.3501
[9]	Yi, C. and Zhang, Y. (2008) Analogue Recurrent Neural Network for Linear Algebraic Equation Solving.Electronics Letters, 44, 1078-1080. https://doi.org/10.1049/el:20081390
[10]	Zhang, Y. and Chen, K. (2008) Global Exponential Convergence and Stability of Wang Neural Network for Solving Online Linear Equations.Electronics Letters, 44, 145-146. https://doi.org/10.1049/el:20081928
[11]	Ding, F. and Chen, T.W. (2005) Gradient Based Iterative Algorithms for Solving a Class of Matrix Equations.IEEE Transactions on Automatic Control, 50, 1216-1221. https://doi.org/10.1109/tac.2005.852558
[12]	Wang, X., Che, M. and Wei, Y. (2020) Neural Network Approach for Solving Nonsingular Multi-Linear Tensor Systems.Journal of Computational and Applied Mathematics, 368, Article ID: 112569. https://doi.org/10.1016/j.cam.2019.112569
[13]	Wilkinson, J.H. (1965) The Algebraic Eigenvalue Problem. Clarendon.
[14]	Chang, K.C., Pearson, K.J. and Zhang, T. (2013) Some Variational Principles for Z-Eigenvalues of Nonnegative Tensors.Linear Algebra and Its Applications, 438, 4166-4182. https://doi.org/10.1016/j.laa.2013.02.013
[15]	Mo, C., Wang, X. and Wei, Y. (2020) Time-Varying Generalized Tensor Eigenanalysis via Zhang Neural Networks.Neurocomputing, 407, 465-479. https://doi.org/10.1016/j.neucom.2020.04.115