在现代科学与工程的众多领域里，优化问题无处不在。无论是经济系统中的资源分配，还是机器学习中的模型训练；不管是工程控制中的参数调节，亦或是博弈论中的策略选择，优化理念贯穿于其中。传统的凸优化问题因其良好性质已得到广泛且深入的研究。但现实世界复杂多样，很多实际问题无法简单归为凸优化问题。例如，在机器学习领域，生成对抗网络(GANs) [1] 里生成器和判别器之间的博弈就呈现出非凸非光滑的极大极小问题特征；在经济学中，企业间竞争策略的制定也存在类似情况。并且在鲁棒优化 [2] 、图像处理 [3] 、信号处理 [4] 等更多领域，非凸非光滑的极大极小问题正亟待深入探索与有效解决。近几年对于非凸非光滑的极大极小问题备受学者们的关注 [5] - [7] 。

本文将考虑下面的鞍点问题：

$\underset{x\in {ℝ}^n}{\min }\underset{y\in {ℝ}^m}{\max }\left\{F\left(x,y\right)=f\left(x\right)+c\left(x,y\right)-g\left(y\right)\right\}$ (1)

其中 $f:{ℝ}^n\to \left(-\infty ,+\infty \right)$是真下半连续函数， $c:{ℝ}^n\times {ℝ}^m\to ℝ$是一个连续可微函数( $C^1$)， $g:{ℝ}^m\to \left(-\infty ,+\infty \right)$是一个真凸下半连续函数， ${ℝ}^n,{ℝ}^m$分别表示为n维，m维实向量空间。

当 $\forall x\in {ℝ}^n,c\left(x,y\right)-g\left(y\right)$关于y是 ${\sigma }_1$-强凹函数( ${\sigma }_1>0$)时，Cohen和Teboulle [6] 提出近端梯度上升下降法(PGDA)求解问题(1)，即

$\begin{array}{l}{y}_{k+1}={\text{prox}}_{\beta g}\left(y_k+\beta {\nabla }_{y}c\left(x_k,y_k\right)\right)\\ x_{k+1}={\text{prox}}_{\alpha f}\left(x_k-\alpha {\nabla }_{x}c\left(x_k,w_k\right)\right)\end{array}$ (2)

当 $w_k=y_k$时，为平行近端梯度上升下降法(PPGDA)；当 $w_k=y_{k+1}$时，为交替近端梯度上升下降法(APGDA)。Cohen和Teboulle [6] 还提出了Bregman近端梯度下降上升法(BGDA)：

$\begin{array}{l}{y}_{k+1}=\underset{y\in {ℝ}^m}{\arg \max }\left\{\langle {\nabla }_{y}c\left(x_k,y_k\right),y\rangle -g\left(y\right)-\frac{1}{2\beta }{\Vert y-y_k\Vert }^2\right\}\\ x_{k+1}\in \underset{x\in {ℝ}^n}{\arg \min }\left\{f\left(x\right)+\langle {\nabla }_{x}c\left(x_k,w_k\right),x\rangle +\frac{1}{\alpha }{D}_h\left(x,x_k\right)\right\}\end{array}$ (3)

当 $w_k=y_k$时，是平行Bregman近端梯度下降上升法(PBGDA)；当 $w_k=y_{k+1}$时，为交替近端梯度下降上升法(ABGDA)。

本文对函数 $c\left(x,y\right)-g\left(y\right)$的凹性条件做了改变，将其凹性条件减弱，变为强拟凹，即 $\forall x\in {ℝ}^n,c\left(x,y\right)-g\left(y\right)$关于y是 ${\sigma }_1$-强拟凹函数( ${\sigma }_1>0$)。

在实际的各类现实问题情境中，非光滑非凸–强拟凸极小极大问题的出现频率相对更高。例如，经济学领域中的生产与成本优化问题、资源分配与福利经济学问题；博弈论领域中的非合作博弈的均衡求解；机器学习领域中的深度学习模型的训练优化、强化学习中的策略优化等等。

受算法(3)的启发，对于y-步迭代过程，我们将y-步中的 ${\Vert y-y_k\Vert }^2$部分同样用Bregman距离代替，即

$\begin{array}{l}{y}_{k+1}=\underset{y\in {ℝ}^m}{\arg \max }\left\{\langle {\nabla }_{y}c\left(x_k,y_k\right),y\rangle -g\left(y\right)-\frac{1}{2\beta }{D}_{h_1}\left(y,y_k\right)\right\}\\ x_{k+1}\in \underset{x\in {ℝ}^n}{\arg \min }\left\{f\left(x\right)+\langle {\nabla }_{x}c\left(x_k,w_k\right),x\rangle +\frac{1}{\alpha }{D}_{h_2}\left(x,x_k\right)\right\}\end{array}$ (4)

在我们的算法中，y-步迭代的正则部分( ${\Vert y-y_k\Vert }^2$)也为Bregman距离，当Bregman距离为欧式空间的距离时，即为算法(3)。算法(3)是算法(4)的特殊情况，故算法(4)更有意义。对于算法的收敛性分析本文借鉴Cohen和Teboulle [6] 的方法引入扰动类梯度下降序列，得到算法的次收敛性，对于目标函数是半代数函数时，得到算法的全局的收敛性。

先给出关于问题(1)中的假设和Moreau 近端映射的定义。

假设1 (a) $\underset{x\in {ℝ}^n}{\inf }\underset{y\in {ℝ}^m}{\max }F\left(x,y\right)>-\infty$。

(b) $c:{ℝ}^n\times {ℝ}^m\to ℝ$是一个连续可微函数( $C^1$)，并且 $c\left(x,y\right)$关于y是凹函数。另外， $\exists L_{xx},L_{xy},L_{yy},L_{yx}>0$，使得 $\forall \bar{x},x\in {ℝ}^n,\forall \bar{y},y\in {ℝ}^m$，有

$\Vert {\nabla }_{x}c\left(x,y\right)-{\nabla }_{x}c\left(x,\bar{y}\right)\Vert \le L_{xy}\Vert y-\bar{y}\Vert$

$\Vert {\nabla }_{x}c\left(x,y\right)-{\nabla }_{x}c\left(\bar{x},y\right)\Vert \le L_{xx}\Vert x-\bar{x}\Vert$

$\Vert {\nabla }_{y}c\left(x,y\right)-{\nabla }_{y}c\left(\bar{x},y\right)\Vert \le L_{yx}\Vert x-\bar{x}\Vert$

$\Vert {\nabla }_{y}c\left(x,y\right)-{\nabla }_{y}c\left(x,\bar{y}\right)\Vert \le L_{yy}\Vert y-\bar{y}\Vert$

(c) $\forall x\in {ℝ}^n,c\left(x,y\right)-g\left(y\right)$关于y是 ${\sigma }_1$-强拟凹连续可微函数，且关于y的梯度是 $L_1$-Lipschitz连续的，即存在一个常数 $L_1>0$，使得对于 $\forall y,\bar{y}\in {ℝ}^m$， $\Vert c\left(x,y\right)-g\left(y\right)-\left(c\left(x,\bar{y}\right)-g\left(\bar{y}\right)\right)\Vert \le L_1\Vert y-\bar{y}\Vert$，( ${\sigma }_1\in \left(L_1,2L_1\right]$)。

定义1 [8] 设函数 $\phi :{ℝ}^d\to \left(-\infty ,\infty \right]$是真下半连续函数，对 $\forall t>0$，则关于函数 $\phi$的Moreau近端映射为

${\text{prox}}_{t\phi }\left(z\right):=\underset{x\in {ℝ}^d}{\arg \min }\left\{\phi \left(x\right)-\frac{1}{2t}{\Vert x-z\Vert }^2\right\}$.

由于 $\forall x\in {ℝ}^n,c\left(x,y\right)-g\left(y\right)$关于y是 ${\sigma }_1$ ( ${\sigma }_1>0$)-强拟凹函数，则 $g\left(y\right)-c\left(x,y\right)$关于y是 ${\sigma }_1$-强拟凸函

数。根据文献 [9] 中的定理1可以得到 $y^{*}\left(x\right):=\underset{y\in {ℝ}^m}{\arg \max }\left\{c\left(x,y\right)-g\left(y\right)\right\}=\underset{y\in {ℝ}^m}{\arg \min }\left\{g\left(y\right)-c\left(x,y\right)\right\}$是单值的，

即 $y^{*}\left(x\right):{ℝ}^n\to {ℝ}^m$是有意义的。现在定义 $\varphi :{ℝ}^n\to ℝ$

$\varphi \left(x\right):=\max \left\{c\left(x,y\right)-g\left(y\right)\right\}=c\left(x,y^{*}\left(x\right)\right)-g\left(y^{*}\left(x\right)\right)$.

则问题(1)变为

$\underset{x\in {ℝ}^n}{\min }\left\{\Theta \left(x\right):=f\left(x\right)+\varphi \left(x\right)\right\}$. (5)

我们继续分析函数 $y^{*}$与 $\varphi$的性质。下面的引理是关于强拟凸函数的一个性质，将会用来证明函数 $y^{*}$的连续性。

引理1 设 $\psi :{ℝ}^d\to ℝ$是 $\sigma$-强拟凸函数( $\sigma >0$)，并且是连续可微的。若 $\forall x_1,x_2\in {ℝ}^d$，且 $\psi \left(x_1\right)\le \psi \left(x_2\right)$，则有

$\langle \nabla \psi \left(x_2\right),x_2-x_1\rangle \ge \frac{\sigma }{2}\Vert x_2-x_1\Vert$.

证明：由于 $\psi$是C上的 $\sigma$-强拟凸函数，根据强拟凸函数的定义有：

$\psi \left(\lambda x_1+\left(1-\lambda \right)x_2\right)\le \max \left\{\psi \left(x_1\right),\psi \left(x_2\right)\right\}-\lambda \left(1-\lambda \right)\frac{\sigma }{2}{\Vert x_1-x_2\Vert }^2,\forall \lambda \in \left(0,1\right)$.

因为 $\forall x_1,x_2\in C$，且 $\psi \left(x_1\right)\le \psi \left(x_2\right)$，则有

$\psi \left(\lambda x_1+\left(1-\lambda \right)x_2\right)\le \psi \left(x_2\right)-\lambda \left(1-\lambda \right)\frac{\sigma }{2}{\Vert x_1-x_2\Vert }^2$,

$\psi \left(\lambda x_1+\left(1-\lambda \right)x_2\right)-\psi \left(x_2\right)\le -\lambda \left(1-\lambda \right)\frac{\sigma }{2}{\Vert x_1-x_2\Vert }^2$,

$\frac{\psi \left(\lambda x_1+\left(1-\lambda \right)x_2\right)-\psi \left(x_2\right)}{\lambda }\le -\left(1-\lambda \right)\frac{\sigma }{2}{\Vert x_1-x_2\Vert }^2$,

$\frac{\psi \left(x_2+\lambda \left(x_1-x_2\right)\right)-\psi \left(x_2\right)}{\lambda }\le -\left(1-\lambda \right)\frac{\sigma }{2}{\Vert x_1-x_2\Vert }^2$.

由于 $\psi$是连续可微函数，让上面不等式的两边的 $\lambda \to 0$，则有

$\langle \nabla \psi \left(x_2\right),x_1-x_2\rangle \le -\frac{\sigma }{2}\Vert x_1-x_2\Vert$

即

$\frac{\sigma }{2}\Vert x_2-x_1\Vert \le \langle \nabla \psi \left(x_2\right),x_2-x_1\rangle$.

引理2 映射 $y^{*}:{ℝ}^n\to {ℝ}^m$是 $\frac{2L_{yx}}{{\sigma }_1}$-Lipschitz连续的，即

$\Vert y^{*}\left(x\right)-y^{*}\left(\bar{x}\right)\Vert \le \frac{2L_{yx}}{{\sigma }_1}\Vert x-\bar{x}\Vert ,\forall x,\bar{x}\in {ℝ}^n$.

证明：因为 $\forall x\in {ℝ}^n$， $y^{*}\left(x\right):=\underset{y\in {ℝ}^m}{\arg \max }\left\{c\left(x,y\right)-g\left(y\right)\right\}$，则

$\forall \bar{x}\in {ℝ}^n,c\left(x,y^{*}\left(x\right)\right)-g\left(y^{*}\left(x\right)\right)\ge c\left(x,y^{*}\left(\bar{x}\right)\right)-g\left(y^{*}\left(\bar{x}\right)\right)$

即 $\forall \bar{x}\in {ℝ}^n,g\left(y^{*}\left(x\right)\right)-c\left(x,y^{*}\left(x\right)\right)\le g\left(y^{*}\left(\bar{x}\right)\right)-c\left(x,y^{*}\left(\bar{x}\right)\right)$。由于 $g\left(y\right)-c\left(x,y\right)$关于y是 ${\sigma }_1$-强拟凸的，根据引理1有

$\frac{{\sigma }_1}{2}{\Vert y^{*}\left(\bar{x}\right)-y^{*}\left(x\right)\Vert }^2\le \langle \partial g\left(y^{*}\left(\bar{x}\right)\right)-{\nabla }_{y}c\left(x,y^{*}\left(\bar{x}\right)\right),y^{*}\left(\bar{x}\right)-y^{*}\left(x\right)\rangle$. (6)

由于 $y^{*}\left(x\right):=\underset{y\in {ℝ}^m}{\arg \max }\left\{c\left(x,y\right)-g\left(y\right)\right\}$，根据一阶最优性条件有

$0\in {\nabla }_{y}c\left(x,y^{*}\left(x\right)\right)-\partial g\left(y^{*}\left(x\right)\right)\Rightarrow {\nabla }_{y}c\left(x,y^{*}\left(x\right)\right)\in \partial g\left(y^{*}\left(x\right)\right)$.

根据上式可以得到 ${\nabla }_{y}c\left(\bar{x},y^{*}\left(\bar{x}\right)\right)\in \partial g\left(y^{*}\left(\bar{x}\right)\right)$，再结合(6)式有

$\begin{array}{c}\frac{{\sigma }_1}{2}{\Vert y^{*}\left(\bar{x}\right)-y^{*}\left(x\right)\Vert }^2\le \langle {\nabla }_{y}c\left(\bar{x},y^{*}\left(\bar{x}\right)\right)-{\nabla }_{y}c\left(x,y^{*}\left(\bar{x}\right)\right),y^{*}\left(\bar{x}\right)-y^{*}\left(x\right)\rangle \\ \le \Vert {\nabla }_{y}c\left(\bar{x},y^{*}\left(\bar{x}\right)\right)-{\nabla }_{y}c\left(x,y^{*}\left(\bar{x}\right)\right)\Vert \Vert y^{*}\left(\bar{x}\right)-y^{*}\left(x\right)\Vert \\ \le L_{yx}\Vert \bar{x}-x\Vert \Vert y^{*}\left(\bar{x}\right)-y^{*}\left(x\right)\Vert \end{array}$

$\Vert y^{*}\left(\bar{x}\right)-y^{*}\left(x\right)\Vert \le \frac{2L_{yx}}{{\sigma }_1}\Vert \bar{x}-x\Vert ,\forall \bar{x},x\in {ℝ}^n$.

我们可以得到文献 [6] 命题1相同的结论： $\varphi :{ℝ}^n\to ℝ$是连续函数( $C^1$)函数，且梯度 ${\nabla }_{\varphi }\left(x\right)={\nabla }_{x}c\left(x,y^{*}\left(x\right)\right)$是 $L_{\varphi }=L_{xx}+\frac{2L_{xy}{L}_{yx}}{{\sigma }_1}$-Lipschitz连续的，其中 $y^{*}\left(x\right)=\underset{y\in {ℝ}^m}{\arg \min }\left\{g\left(y\right)-c\left(x,y\right)\right\}$。

根据上面得到的结论，复合最小化问题(5)可以用Bregman近端梯度法求解，即

$x_{k+1}=\underset{x\in {ℝ}^n}{\arg \min }\left\{f(x)+\langle {\nabla }_{x}c\left(x_k,y^{*}\left(x_k\right)\right),x\rangle +\frac{1}{\alpha }{D}_h\left(x,x_k\right)\right\}$.

但是该算法困难在于寻找 $y^{*}\left(x_k\right)$，并且在迭代时，必须要使用内循环计算，从而导致算法变得非常复杂，故在这种情况下将我们提出算法(4)看成近似Bregman近端梯度法，不用求解

$y^{*}\left(x\right)=\underset{y\in {ℝ}^m}{\arg \max }\left\{c\left(x,y\right)-g\left(y\right)\right\}$，直接用算法(4)中的y-步中的 $y_k$或者 $y_{k+1}$代替 $y^{*}\left(x_k\right)$，而x-步就是上述算法。其中，算法(4)中的y-步的步长设为 $\beta =\frac{1}{L_{yy}}$，对于x-步的步长 $\alpha$的选择将在下面的定理1中体现。

将鞍点问题(1)表述为复合最小化问题(5)，分析Bregman近端梯度上升下降法(4)的收敛性，设 ${\left\{x_k,y_k\right\}}_{k\in \mathbb{N}}$是由算法(4)产生的序列，本节我们得到 ${\left\{x_k\right\}}_{k\in \mathbb{N}}$收敛到函数 $\Theta$的临界点：即 ${\left\{x_k\right\}}_{k\in \mathbb{N}}\to \bar{x}\in \text{crit}\Theta :=\left\{x:0\in \partial \Theta \left(x\right)\right\}$。另外得到 ${\left\{y_k\right\}}_{k\in \mathbb{N}}\to y^{*}\left(\bar{x}\right)$，其中 $y^{*}\left(x\right)$是鞍点问题(1)的内部极大化问题的解。由于复合最小化问题(5)的目标函数是非凸非光滑的，缺少下降性质，借鉴文献 [6] 的方法引入扰动类梯度下降序列，得到算法的次收敛性。

定义2 [6] 设 $\Theta :{ℝ}^n\to \left(-\infty ,\infty \right]$是真下半连续函数，若序列 ${\left\{\left(x_k,{\nu }_k\right)\right\}}_{k\ge 0}\subseteq \text{dom}\Theta \times {ℝ}_{+}$满足下面的三个条件：

(a) 扰动充分下降性质：存在一个常数 $c_1>0$使得对于任意的 $k\in \mathbb{N}$有

$c_1\left({\Vert x_{k+1}-x_k\Vert }^2+{\nu }_k^2\right)\le \left(\Theta \left(x_k\right)+\frac{1}{2}{\nu }_k^2\right)-\left(\Theta \left(x_{k+1}\right)+\frac{1}{2}{\nu }_{k+1}^2\right)$.

(b) 迭代间隙上的扰动次梯度下界：存在一个常数 $c_2>0$使得对于任意的 $k\in \mathbb{N}$，这里存在 ${\xi }_{k+1}\in \partial \Theta \left(x_{k+1}\right)$，且 ${\xi }_{k+1}$满足 $\Vert {\xi }_{k+1}\Vert \le c_2\left(\Vert x_{k+1}-x_k\Vert -{\nu }_k\right)$。

(c) 设 ${\left\{x_k\right\}}_{k\in \mathbb{k}\subset \mathbb{N}}$是一个子序列且收敛到 $\bar{x}$，则 $\underset{k\in \mathbb{k}\subset \mathbb{N}}{\lim \sup }\Theta \left(x_k\right)\le \Theta \left(\bar{x}\right)$。

则 ${\left\{\left(x_k,{\nu }_k\right)\right\}}_{k\ge 0}$是关于 $\Theta$的扰动类梯度下降序列。

下面给出在分析算法收敛性时的一些假设。

假设2 (a) Bregman函数 $h_1:{ℝ}^m\to ℝ$是 ${\sigma }_{h_1}$-强凸函数并且是连续可微函数，即 $h_1$是 $L_{h_1}$-光滑函数( ${\sigma }_{h_1}=L_{h_1}$)；

(b) Bregman函数 $h_2:{ℝ}^n\to ℝ$是1-强凸函数，并且是连续可微函数，即 $h_2$是 $L_{h_2}$-光滑函数；

(c) $\forall x\in {ℝ}^n,\left(-c\left(x,y\right),h_1\left(y\right)\right)$关于y是 $\frac{L_{yy}}{2}$-光滑自适应的，即 $\forall y,\bar{y}\in {ℝ}^m$，存在 $\frac{L_{yy}}{2}>0$，有 $-c\left(x,y\right)\le -c\left(x,\bar{y}\right)+\langle -{\nabla }_{y}c\left(x,\bar{y}\right),y-\bar{y}\rangle +\frac{L_{yy}}{2}{D}_{h_1}\left(y,\bar{y}\right)$；

(d) 算法 的x-步迭代过程是有意义的，即

$x_{k+1}\in \underset{x\in {ℝ}^n}{\arg \min }\left\{f\left(x\right)+\langle {\nabla }_{x}c\left(x_k,w_k\right),x\rangle +\frac{1}{\alpha }{D}_{h_2}\left(x,x_k\right)\right\}\ne \varnothing$.

在分析收敛性之前我们先给出一个与文献 [10] 中的引理2.6类似的结论，即内部最大化问题函数差值不等式。

引理3 设 $y\in \text{dom}\left(g\right)$， $\left(-c\left(x_k,y\right),h_1\left(y\right)\right)$关于y 是 $\frac{L_{yy}}{2}$-光滑自适应的，则

${\Gamma }_k\left(y_{k+1}\right)-{\Gamma }_k\left(y\right)\le \frac{L_{yy}}{2}\left(D_{h_1}\left(y,y_k\right)-D_{h_1}\left(y,y_{k+1}\right)\right)$. (7)

证明：近端梯度上升下降算法中的y-步迭代过程

$y_{k+1}={\text{prox}}_{\frac{1}{L_{yy}}g}\left(y_k+\frac{1}{L_{yy}}{\nabla }_{y}c\left(x_k,y_k\right)\right)$. (8)

是解决问题(1)的内部最大问题的步骤，该最大化问题可以表述为极小化问题

$\underset{y\in {ℝ}^m}{\min }\left\{{\Gamma }_k\left(y\right):=g\left(y\right)-c\left(x_k,y\right)\right\}$.

根据Moreau近端映射的定义，(8)式变为

$\begin{array}{c}{y}_{k+1}=\underset{y\in {ℝ}^m}{\arg \min }\left\{g\left(y\right)+\frac{L_{yy}}{2}{\Vert y-\left(y_k+\frac{1}{L_{yy}}{\nabla }_{y}c\left(x_k,y_k\right)\right)\Vert }^2\right\}\\ =\underset{y\in {ℝ}^m}{\arg \min }\left\{g\left(y\right)-\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_k\rangle +\frac{L_{yy}}{2}{\Vert y-y_k\Vert }^2+\frac{1}{2L_{yy}}{\left({\nabla }_{y}c\left(x_k,y_k\right)\right)}^2\right\}\end{array}$

由于 $\frac{1}{2L_{yy}}{\left({\nabla }_{y}c\left(x_k,y_k\right)\right)}^2$关于y是常数，则有

$y_{k+1}=\underset{y\in {ℝ}^m}{\arg \min }\left\{g\left(y\right)-\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_k\rangle +\frac{L_{yy}}{2}{\Vert y-y_k\Vert }^2\right\}$.

将上面等式中的 ${\Vert y-y_k\Vert }^2$变为Bregman距离就是本文提出的算法的y-步迭代过程，即

$y_{k+1}=\underset{y\in {ℝ}^m}{\arg \min }\left\{g\left(y\right)-\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_k\rangle +\frac{L_{yy}}{2}{D}_{h_1}\left(y,y_k\right)\right\}$.

由于 $c\left(x_k,y_k\right)$关于y是常数，则有

$y_{k+1}=\underset{y\in {ℝ}^m}{\arg \min }\left\{g\left(y\right)-c\left(x_k,y_k\right)-\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_k\rangle +\frac{L_{yy}}{2}{D}_{h_1}\left(y,y_k\right)\right\}$. (9)

设

$Q\left(y,y_k\right)=g\left(y\right)-c\left(x_k,y_k\right)-\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_k\rangle +\frac{L_{yy}}{2}{D}_{h_1}\left(y,y_k\right)$,

$l_c\left(y,y_k\right)=-c\left(x_k,y\right)+c\left(x_k,y_k\right)+\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_k\rangle$.

对于(9)式，根据一阶最优性条件有

$0\in \partial g\left(y_{k+1}\right)-{\nabla }_{y}c\left(x_k,y_k\right)+\frac{L_{yy}}{2}\left(\nabla h_1\left(y_{k+1}\right)-\nabla h_1\left(y_k\right)\right)+N_{\text{dom}\left(g\right)}\left(y_{k+1}\right)$.

设 $\gamma \in \partial g\left(y_{k+1}\right)$，则有

$-\left(\gamma -{\nabla }_{y}c\left(x_k,y_k\right)+\frac{L_{yy}}{2}\left(\nabla h_1\left(y_{k+1}\right)-\nabla h_1\left(y_k\right)\right)\right)\in N_{\text{dom}\left(g\right)}\left(y_{k+1}\right)$.

$\forall y\in \text{dom}\left(g\right)$，根据法锥的定义有

$\langle y_{k+1}-y,-\left(\gamma -{\nabla }_{y}c\left(x_k,y_k\right)+\frac{L_{yy}}{2}\left(\nabla h_1\left(y_{k+1}\right)-\nabla h_1\left(y_k\right)\right)\right)\rangle \ge 0$,

$\langle \gamma -{\nabla }_{y}c\left(x_k,y_k\right)+\frac{L_{yy}}{2}\left(\nabla h_1\left(y_{k+1}\right)-\nabla h_1\left(y_k\right)\right),y-y_{k+1}\rangle \ge 0$,

$\langle \gamma ,y-y_{k+1}\rangle \ge \langle {\nabla }_{y}c\left(x_k,y_k\right)-\frac{L_{yy}}{2}\left(\nabla h_1\left(y_{k+1}\right)-\nabla h_1\left(y_k\right)\right),y-y_{k+1}\rangle$. (10)

因为 $g$是凸函数，且 $\gamma \in \partial g\left(y_{k+1}\right)$，则有

$\langle g\left(y\right)-g\left(y_{k+1}\right)\rangle \ge \langle \gamma ,y-y_{k+1}\rangle$, (11)

结合(10)和(11)两个不等式则有

$\langle g\left(y\right)-g\left(y_{k+1}\right)\rangle \ge \langle {\nabla }_{y}c\left(x_k,y_k\right)-\frac{L_{yy}}{2}\left(\nabla h_1\left(y_{k+1}\right)-\nabla h_1\left(y_k\right)\right),y-y_{k+1}\rangle$.

$\begin{array}{l}{\Gamma }_k\left(y_{k+1}\right)-Q\left(y_{k+1},y_k\right)\\ =g\left(y_{k+1}\right)-c\left(x_k,y_{k+1}\right)-g\left(y_{k+1}\right)+c\left(x_k,y_k\right)+\langle {\nabla }_{y}c\left(x_k,y_k\right),y_{k+1}-y_k\rangle -\frac{L_{yy}}{2}{D}_{h_1}\left(y_{k+1},y_k\right)\\ =-c\left(x_k,y_{k+1}\right)+c\left(x_k,y_k\right)+\langle {\nabla }_{y}c\left(x_k,y_k\right),y_{k+1}-y_k\rangle -\frac{L_{yy}}{2}{D}_{h_1}\left(y_{k+1},y_k\right)\end{array}$ (12)

由于 $\left(-c\left(x_k,y\right),h_1\left(y\right)\right)$关于y 是 $\frac{L_{yy}}{2}$-光滑自适应的，则有

$-c(x_k,y_{k+1})-\left(-c\left(x_k,y_k\right)\right)-\langle -{\nabla }_{y}c\left(x_k,y_k\right),y_{k+1}-y_k\rangle \le \frac{L_{yy}}{2}{D}_{h_1}\left(y_{k+1},y_k\right)$,

$-c(x_k,y_{k+1})+c\left(x_k,y_k\right)+\langle {\nabla }_{y}c\left(x_k,y_k\right),y_{k+1}-y_k\rangle \le \frac{L_{yy}}{2}{D}_{h_1}\left(y_{k+1},y_k\right)$, (13)

结合(12)和(13)不等式就有 ${\Gamma }_k\left(y_{k+1}\right)-Q\left(y_{k+1},y_k\right)\le 0$，那么

$\begin{array}{c}{\Gamma }_k\left(y\right)-{\Gamma }_k\left(y_{k+1}\right)\ge {\Gamma }_k\left(y\right)-Q\left(y_{k+1},y_k\right)\\ =g\left(y\right)-c\left(x_k,y\right)-g\left(y_{k+1}\right)+c\left(x_k,y_k\right)+\langle {\nabla }_{y}c\left(x_k,y_k\right),y_{k+1}-y_k\rangle -\frac{L_{yy}}{2}{D}_{h_1}\left(y_{k+1},y_k\right)\\ =-c\left(x_k,y\right)+c\left(x_k,y_k\right)+\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_k\rangle -\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_k\rangle \\ +\langle {\nabla }_{y}c\left(x_k,y_k\right),y_{k+1}-y_k\rangle -\frac{L_{yy}}{2}{D}_{h_1}\left(y_{k+1},y_k\right)+g\left(y\right)-g\left(y_{k+1}\right)\\ =l_c\left(y,y_k\right)-\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_{k+1}\rangle -\frac{L_{yy}}{2}{D}_{h_1}\left(y_{k+1},y_k\right)+g\left(y\right)-g\left(y_{k+1}\right)\end{array}$

$\begin{array}{c}{\Gamma }_k\left(y\right)-{\Gamma }_k\left(y_{k+1}\right)\ge l_c\left(y,y_k\right)-\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_{k+1}\rangle -\frac{L_{yy}}{2}{D}_{h_1}\left(y_{k+1},y_k\right)\\ +\langle {\nabla }_{y}c\left(x_k,y_k\right)-\frac{L_{yy}}{2}\left(\nabla h_1\left(y_{k+1}\right)-\nabla h_1\left(y_k\right)\right),y-y_{k+1}\rangle \\ =l_c\left(y,y_k\right)-\frac{L_{yy}}{2}{D}_{h_1}\left(y_{k+1},y_k\right)+\frac{L_{yy}}{2}\langle \nabla h_1\left(y_k\right)-\nabla h_1\left(y_{k+1}\right),y-y_{k+1}\rangle \end{array}$

再利用Bregman距离三点恒等式则有

$\begin{array}{c}{\Gamma }_k\left(y\right)-{\Gamma }_k\left(y_{k+1}\right)\ge l_c\left(y,y_k\right)-\frac{L_{yy}}{2}{D}_{h_1}\left(y_{k+1},y_k\right)+\frac{L_{yy}}{2}\left(D_{h_1}\left(y,y_{k+1}\right)+D_{h_1}\left(y_{k+1},y_k\right)-D_{h_1}\left(y,y_k\right)\right)\\ =l_c\left(y,y_k\right)+\frac{L_{yy}}{2}\left(D_{h_1}\left(y,y_{k+1}\right)-D_{h_1}\left(y,y_k\right)\right)\end{array}$

${\Gamma }_k\left(y_{k+1}\right)-{\Gamma }_k\left(y\right)\le -l_c\left(y,y_k\right)+\frac{L_{yy}}{2}\left(D_{h_1}\left(y,y_k\right)-D_{h_1}\left(y,y_{k+1}\right)\right)$,

因为 $c\left(x,y\right)$关于y是凹函数，则

$-l_c\left(y,y_k\right)=c\left(x_k,y\right)-c\left(x_k,y_k\right)-\langle {\nabla }_{y}c\left(x_k,y_k\right),y-y_k\rangle \le 0$,

${\Gamma }_k\left(y_{k+1}\right)-{\Gamma }_k\left(y\right)\le \frac{L_{yy}}{2}\left(D_{h_1}\left(y,y_k\right)-D_{h_1}\left(y,y_{k+1}\right)\right)$.

通过上面引理3的结论，得到近端梯度上升迭代点之间的不等式关系，即下面的引理4。

引理4 ( $y_k$与 $y_{k+1}$之间的关系)假设Bregman函数 $h_1:{ℝ}^m\to ℝ$满足假设2(a)，令 $\kappa =\frac{L_{yy}{L}_{h_1}}{2\left({\sigma }_1-L_1\right)}$，则对任意的 $k\in \mathbb{N}$有

$\Vert y_{k+1}-y^{*}\left(x_{k+1}\right)\Vert \le \sqrt{\frac{\kappa }{\kappa +1}}\Vert y^{*}\left(x_k\right)-y_k\Vert +\frac{2L_{yx}}{{\sigma }_1}\Vert x_k-x_{k+1}\Vert$ (14)

$\Vert y_{k+1}-y^{*}\left(x_k\right)\Vert \le \sqrt{\frac{\kappa }{\kappa +1}}\left(\frac{2L_{yx}}{{\sigma }_1}\Vert x_k-x_{k-1}\Vert +\Vert y_k-y^{*}\left(x_{k-1}\right)\Vert \right)$ (15)

${\Vert y_{k+1}-y^{*}\left(x_{k+1}\right)\Vert }^2\le \frac{\kappa \left(1+1/2\kappa \right)}{\kappa +1}{\Vert y^{*}\left(x_k\right)-y_k\Vert }^2+\frac{\left(1+2\kappa \right)4L_{yx}^2}{{\sigma }_1^2}{\Vert x_k-x_{k+1}\Vert }^2$ (16)

${\Vert y_{k+1}-y^{*}\left(x_k\right)\Vert }^2\le \frac{\kappa \left(1+1/2\kappa \right)}{\kappa +1}\left({\Vert y^{*}\left(x_{k-1}\right)-y_k\Vert }^2+\frac{4\kappa L_{yx}^2}{{\sigma }_1^2}{\Vert x_{k-1}-x_k\Vert }^2\right)$ (17)

证明： $y_{k+1}={\text{prox}}_{\frac{1}{L_{yy}}g}\left(y_k+\frac{1}{L_{yy}}{\nabla }_{y}c\left(x_k,y_k\right)\right)$是解决问题(1)内部最大化的近端梯度上升步骤，将其表述为下列最小化问题：

$\underset{y\in {ℝ}^m}{\min }\left\{{\Gamma }_k\left(y\right):=g\left(y\right)-c\left(x_k,y\right)\right\}$，则根据假设1(d)可知 ${\Gamma }_k\left(y\right)$是 ${\sigma }_1$-强拟凸函数，其唯一极小元为 $y^{*}\left(x_k\right):=\arg \min {\Gamma }_k\left(y\right)$，根据引理1有：

$\frac{{\sigma }_1}{2}{\Vert y_{k+1}-y^{*}\left(x_k\right)\Vert }^2\le \langle \nabla {\Gamma }_k\left(y_{k+1}\right),y_{k+1}-y^{*}\left(x_k\right)\rangle$. (18)

另外，根据假设1(d)和下降引理 [11] 有

${\Gamma }_k\left(y^{*}\left(x_k\right)\right)-{\Gamma }_k\left(y_{k+1}\right)\le \langle \nabla {\Gamma }_k\left(y_{k+1}\right),y^{*}\left(x_k\right)-y_{k+1}\rangle +\frac{L_1}{2}{\Vert y_{k+1}-y^{*}\left(x_k\right)\Vert }^2$. (19)

结合(18)和(19)两个不等式，则有

$\frac{{\sigma }_1}{2}{\Vert y_{k+1}-y^{*}\left(x_k\right)\Vert }^2\le {\Gamma }_k\left(y_{k+1}\right)-{\Gamma }_k\left(y^{*}\left(x_k\right)\right)+\frac{L_1}{2}{\Vert y_{k+1}-y^{*}\left(x_k\right)\Vert }^2$,

$\left(\frac{{\sigma }_1}{2}-\frac{L_1}{2}\right){\Vert y_{k+1}-y^{*}\left(x_k\right)\Vert }^2\le {\Gamma }_k\left(y_{k+1}\right)-{\Gamma }_k\left(y^{*}\left(x_k\right)\right)$.

因为Bregman函数 $h_1$是 ${\sigma }_{h_1}$-强凸函数并且是连续可微函数 $L_{h_1}$-光滑的，则会有以下结论：

$D_{h_1}\left(y^{*}\left(x_k\right),y_k\right)\le \frac{L_{h_1}}{2}{\Vert y^{*}\left(x_k\right)-y_k\Vert }^2$和 $D_{h_1}\left(y^{*}\left(x_k\right),y_{k+1}\right)\ge \frac{{\sigma }_{h_1}}{2}{\Vert y^{*}\left(x_k\right)-y_{k+1}\Vert }^2$

则引理3中的不等式(7)放缩为

${\Gamma }_k\left(y_{k+1}\right)-{\Gamma }_k\left(y^{*}\left(x_k\right)\right)\le \frac{L_{yy}}{2}\left(\frac{L_{h_1}}{2}{\Vert y^{*}\left(x_k\right)-y_k\Vert }^2-\frac{{\sigma }_{h_1}}{2}{\Vert y^{*}\left(x_k\right)-y_{k+1}\Vert }^2\right)$