分布鲁棒优化结合了传统随机规划和鲁棒优化的优点，成为了近些年来解决含有不确定信息的优化问题的研究热点。结合分布鲁棒优化的特点，本文考虑了不确定参数的分布是未知，但一阶矩和二阶矩已知的切换系统分布鲁棒最优控制问题。该问题本质上是一个极小极大最优控制问题。本文利用控制参数化将原问题近似为有限维的参量最优控制问题，并将内层问题和外层问题分别求解。内层用非线性规划方法进行求解，外层则通过构造竞争粒子群算法进行求解。并以一类微生物批式流加发酵分布鲁棒最优控制问题作为实例验证了算法的有效性。

分布鲁棒最优控制，控制参数化，Minimax最优控制，竞争粒子群算法

Jia Wang, Zhengying Zhang

School of Mathematics and Statistics, Fujian Normal University, Fuzhou Fujian

Received: Nov. 26^th, 2022; accepted: Dec. 21^st, 2022; published: Dec. 30^th, 2022

Distributionally robust programming has become a hotspot to solve optimization problems with uncertain information in recent years, which combines the advantages of traditional stochastic programming with robust optimization. Motivated by the feature of distributionally robust programming, this paper considers a distributionally robust optimal control problem of switched systems with uncertain parameters, in which the exact distributions of the uncertain parameters are unknown but the information of the first-order moment and the second-order moment are known. The problem is a minimax optimal control problem in essential, which is approximated by a finite-dimensional parameter optimization problem via the control parametrization method. Then, we solve inner subproblem and outer subproblem separately, where the inner subproblem is solved by the nonlinear programming technique and the outer subproblem is solved by a competitive particle swarm optimization algorithm. Finally, the effectiveness of algorithm is verified by a distributionally robust optimal control problem of a microbialfed-batch process.

Keywords:Distributionally Robust Optimal Control, Control Parametrization, Minimax Optimal Control, Competitive Particle Swarm Optimization Algorithm

Copyright © 2022 by author(s) and beplay安卓登录

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

传统的随机规划大多研究的是随机变量分布信息完全已知的情况或者不确定性被处理成分布已知的随机变量 [ 1 ] [ 2 ] [ 3 ]。但在实际中不确定性的分布函数很难完全已知或者只知道分布部分信息。而分布鲁棒优化只是对随机变量的未知分布提出了限制约束，并还沿用了鲁棒优化的最差期望性能，在计算方面也较为容易实现。因此，对分布鲁棒优化的研究成为运筹学领域研究的热点。

常见的分布鲁棒优化问题的数学形式为

min x ∈ X max F ∈ F E F [ f ( x , ξ ) ] (1)

其中， E F [ ⋅ ] 表示在分布F下关于 ξ 取期望， F 是分布不确定集。早在1958年，Scarf为解决一些简单的库存问题提出了分布鲁棒优化模型 [ 4 ]。对于不确定集的模糊性的处理常用的方法是利用分布的矩信息。例如，Bertsimas和Popescu用期望和方差定义分布集合 [ 5 ]，Bertsimas、Natarajan和Teo用边缘矩已知定义分布集合 [ 6 ] [ 7 ]，Delage和Ye用不确定参数的均值、协方差矩阵构造分布不确定集合 [ 8 ]，Wiesemann、Kuhn和Sim用概率约束和矩约束构造了不确定集 [ 9 ]。除此之外还有其他构造不确定集合的方法。如Alison用K-L散度 [ 10 ]，Kuhn用wasserstein距离来构造不确定集 [ 11 ]。在2016年，叶剑雄等人受分布鲁棒优化的启发，考虑了一类不确定参数自治切换系统的分布鲁棒最优控制问题 [ 12 ]，其中不确定参数的分布是未知的，但一阶矩和二阶矩已知，并以最差期望性能为目标性能。

本文将以文献 [ 12 ] 的模型为基础，进一步考虑多参数不确定切换系统的分布鲁棒最优控制问题。已知不确定参数的一阶矩和二阶矩信息，以一阶矩和二阶矩为约束，通过最小化不确定集中的所有分布的最坏情况期望为目标性能，建立分布鲁棒最优控制模型，重点考虑了离散分布情形的问题。该问题是一个min-max问题，其内层优化是求解最差期望性能的分布，外层为具有动力系统约束的非线性最优控制问题。本文运用非线性规划方法求解内层问题，再利用竞争粒子群对外层问题进行迭代计算。最后，以一类微生物批式流加发酵的分布鲁棒最优控制问题作为实例，阐述了多参数不确定切换系统的分布鲁棒最优控制问题的应用，并验证了所构造算法的有效性。

考虑如下带有不确定参数的切换系统：

{ x ˙ ( t ) = f ( x ( t ) , u ( t ) , v ( t ) , p ) , x ( 0 ) = x 0 , (2)

这里， x ∈ R n x 是状态向量， u ( t ) ∈ R n u 是连续控制函数， v ( t ) ∈ { v 1 , v 2 , ⋯ , v m } 为离散控制， p ∈ R n p 是不确定参数。一般情况下， p 被假设为确定的，但这一假设在许多实际问题中并不成立。本文假设对于 p 只知道它的一些分布信息，进而考虑如下切换系统的分布鲁棒最优控制问题：

( D R O C P )     min u , v max F J ( u , F ) ≜ E F h ( x ( t f ; u , v , p ) ) s .t .     x ˙ ( t ) = f ( x , u , v , p ) ,     t ∈ [ 0 , t f ] , x ( 0 ) = x 0 ,           p ~ F ∈ F ( μ , Σ ) = { F : E F ( p ) = μ , E F ( p − μ ) ( p − μ ) ⊤ = Σ } ,           u ( t ) ∈ U ⊂ R n u , v ( t ) ∈ { v 1 , v 2 , ⋯ , v m } . (3)

这里，U是凸紧集且 U ⊂ R n u ，F是不确定参数 p 的一个分布，该分布下 p 的一阶矩和二阶矩分别为 μ = ( μ 1 , μ 2 , ⋯ , μ n p ) 和 Σ = ( σ 1 , σ 2 , ⋯ , σ n p ) 。

对上述问题，本文考虑离散分布的情形。设 p : = ( p 1 , p 2 , ⋯ , p n p ) ，其中分量 p i 有 l i 种可能取值，分别为 p i 1 , p i 2 , ⋯ , p i l i , i = 1 , 2 , ⋯ , n p 。并令 ℙ ( p i = p i j ) = q i j ， i = 1 , 2 , ⋯ , n p ， j = 1 , 2 , ⋯ , l i 。令 p k = ( p 1 j 1 , p 2 j 2 , ⋯ , p n p j n p ) 为参数向量 p 的第k种可能取值，由于 p 的各分量分别有 l 1 , l 2 , ⋯ , l n p 种取值，可知 k ∈ { 1 , 2 , ⋯ , ∏ i = 1 n p l i } ，且 ℙ ( p = p k ) = ∏ i = 1 n p q i j i 。设 q : = ( q 1 1 , q 1 2 , ⋯ , q 1 l 1 , ⋯ , q n p 1 , q n p 2 , ⋯ , q n p l n p ) 。问题(DROCP)可以等价于如下问题(DROCP1)：

( D R O C P 1 )       min u , v max q ∑ j 1 = 1 l 1 ∑ j 2 = 1 l 2 ⋯ ∑ j n p = 1 l n p ( ∏ i = 1 n p q i j i ) ⋅ h ( x ( t f ; u , v , p k ) ) s .t .       x ˙ k ( t ) = f ( x , u , v , p k ) ,         t ∈ [ 0 , t f ] , x ( 0 ) = x 0 ,             u ∈ U , v ( t ) ∈ { v 1 , v 2 , ⋯ , v m } ,             ∑ j i = 1 l i q i j i = 1 ,             ∑ j i = 1 l i q i j i p i j i = μ i , (4)

∑ j i = 1 l i q i j i ( p i j i ) 2 = ( μ i ) 2 + ( σ i ) 2 , q i j ≥ 0 ,     j = 1 , 2 , ⋯ , l i , i = 1 , 2 , ⋯ , n p .

为了将控制函数 u ( t ) 参数化，令 0 = t 0 < t 1 < ⋯ < t n = t f 。利用分段常值函数来近似控制函数 u ( t ) ，即

u ( t ) = ∑ s = 1 n η s χ I s ( t ) ,     t ∈ [ 0 , t f ] (5)

这里， η s = ( η s 1 , η s 2 , ⋯ , η s n u ) ∈ U ， I s = [ t s − 1 , t s ) , s = 1 , 2 , ⋯ , n ， χ I 是集合I的示性函数，即

χ I = { 1 , t ∈ I , 0 , 其 他 , (6)

定义 η = ( η 1 , η 2 , ⋯ , η n ) ， V = ∏ s = 1 n U 。令 x ( t ; η , v , p k ) 是对应于 ( η , v , p k ) 的系统(2)的解。则问题(DROCP1)可近似为如下有限维的参量最优控制问题(DROCP2)：

( D R O C P 2 )       min η , v max q ∑ j 1 = 1 l 1 ∑ j 2 = 1 l 2 ⋯ ∑ j n p = 1 l n p ( ∏ i = 1 n p q i j i ) ⋅ h ( x ( t f ; η , v , p k ) ) s .t .       x ˙ k ( t ) = f ( x , η , v , p k ) ,         t ∈ [ 0 , t f ] , x ( 0 ) = x 0 ,             η ∈ V , v ( t ) ∈ { v 1 , v 2 , ⋯ , v m } ,             ∑ j i = 1 l i q i j i = 1 ,             ∑ j i = 1 l i q i j i p i j i = μ i , (7)

∑ j i = 1 l i q i j i ( p i j i ) 2 = ( μ i ) 2 + ( σ i ) 2 , q i j ≥ 0 ,     j = 1 , 2 , ⋯ , l i , i = 1 , 2 , ⋯ , n p .

显然，问题(DROCP2)是一个min-max问题，其内层关于 q 的优化问题是约束线性，目标函数为多项式结构，相对容易求解，但其外层为具有动力系统约束的非线性最优控制问题，其求解难度相对较大。为充分利用内层优化相对容易求解的特点，本文将内层问题与外层问题分别求解。其中，内层问题利用非线性规划方法进行求解，外层问题则通过构造竞争粒子群 [ 13 ] 进行求解。

为叙述方便，令 J ( η ) = max q ∑ j 1 = 1 l 1 ∑ j 2 = 1 l 2 ⋯ ∑ j n p = 1 l n p ( ∏ i = 1 n p q i j i ) ⋅ h ( x ( t f ; η , v , p k ) ) 。对于给定的 η ，先将 J ( η ) 转化成 J ˜ ( η ) = − min q ∑ j 1 = 1 l 1 ∑ j 2 = 1 l 2 ⋯ ∑ j n p = 1 l n p ( ∏ i = 1 n p q i j i ) ⋅ h ( x ( t f ; η , v , p k ) ) ，再通过Python里的minimize函数求解内层问题 J ˜ ( η ) ，并给出其估计值。然后，构造如下竞争粒子群算法来计算问题(DROCP2)的外层问题的最优解。

算法3.1

步骤1 设置种群中粒子总数M。k是迭代次数，令 k = 1 。

步骤2 随机产生一个初始种群 { η i ( 1 ) | η i ( 1 ) ∈ U , i = 1 , 2 , ⋯ , M } 。设置初始速度 v i ( 1 ) = 0.001 ⋅ η i ( 1 ) ， i = 1 , 2 , ⋯ , M 。设置最大迭代数 N i t e 。

步骤3 当 k ≤ N i t e + 1 时，记 Λ ( k ) = { η i ( k ) | i = 1 , 2 , ⋯ , M } 。若 k = 1 ，则计算性能指标 J ˜ ( η i ( k ) ) ， i = 1 , 2 , ⋯ , M 。否则，计算性能指标 J ˜ ( η i ( k ) ) , i = 1 , 2 , ⋯ , 2 ⋅ M 3 。

步骤4 计算 η ¯ : = 1 M ∑ i = 1 M η i ( k ) 和 η b e s t : = arg 1 ≤ i ≤ M min J ˜ ( η i ( k ) ) 。

步骤5 当 j = 1 , 2 , ⋯ , M 3 时，依次执行6~9。

步骤6 从 Λ ( k ) 中任意选取三个粒子，分别记为 η j 1 , η j 2 , η j 3 ，并记 Λ ( k ) : = Λ ( k ) \ { η j 1 , η j 2 , η j 3 } 。

步骤7 假设 J ˜ ( η j 1 ) ≤ J ˜ ( η j 2 ) ≤ J ˜ ( η j 3 ) ，令 η j w ( k ) : = η j 1 ， η j l 1 ( k ) : = η j 2 ， η j l 2 ( k ) : = η j 3 。这里， η j w ( k ) ， η j l 1 ( k ) ， η j l 2 ( k ) 分别表示第j轮竞争中的获胜者和两个失败者。

步骤8 根据位置和速度更新公式更新 η j a ( k ) ( a = l 1 , l 2 ) 。其中，位置更新公式和速度更新公式分别如下：

η j a ( k + 1 ) = η j a ( k ) + V j a ( k + 1 ) ,       ( a = l 1 , l 2 ) . (8)

V j a ( k + 1 ) = w ( k ) ⋅ V j a ( k ) + R 1 , j a ( k ) ( η j w ( k ) − η j a ( k ) ) + R 2 , j a ( k ) ϕ 1 ( η ( k ) ¯ − η j a ( k ) ) + R 3 , j a ( k ) ϕ ( η b e s t − η j a ( k ) ) ,         ( a = l 1 , l 2 ) . (9)

这里 ϕ 1 表示 η ( k ) ¯ 的影响参数， ϕ 2 表示 η b e s t 的影响参数。 R i , j a , i = 1 , 2 , 3 是在第k次迭代的第j轮竞争中(0, 1)区间上不同的随机数。

步骤9 记 η j ( k + 1 ) : = η j l 1 ( k ) ， η M 3 + j ( k + 1 ) : = η j l 2 ( k ) ， η 2 ⋅ M 3 + j ( k + 1 ) : = η j w ( k ) ， J ˜ ( η 2 ⋅ M 3 + j ( k + 1 ) ) : = J ˜ ( η j w ) 。

步骤10 k = k + 1 。

本节以一类微生物批式流加发酵模型为例，对上述算法进行验证。批式流加发酵过程是指在开始时往发酵罐注入一定的微生物和底物搅拌均匀后培养一段时间，之后为了使底物浓度和发酵液的营养物浓度保持在一定范围内，将底物分批次灌入发酵罐中。设 x : = ( x 1 , x 2 , x 3 ) = ( X , S , V ) ∈ R + 3 为连续状态变量。其中，X是生物量浓度(g/L)，S是底物浓度(g/L)以及V是发酵液体积(L)。 v ( t ) 表示底物的流加速度(L/h)， v ( t ) ∈ { 0 , 0.02 } 。假设整个批式流加发酵时间区间为 [ 0 , t f ] 。根据微生物生长特征，将整个发酵过程分为N个阶段，即 0 = t 0 < t 1 < ⋯ < t N = t f ，这里N是一个正整数。把每个阶段再分成 s i 个子区间，即 t i − 1 = θ i , 0 < θ i , 1 < ⋯ < θ i , s i = t i 。底物在一个子区间流加，下一个子区间不流加，即

v ( t ) = { 0.02 , t ∈ [ θ i , 2 k , θ i , 2 k + 1 ] , 0 , t ∈ [ θ i , 2 k + 1 , θ i , 2 k + 2 ] ,   k = 0 , 1 , ⋯ , s i − 2 2 , i = 1 , 2 , ⋯ , N (10)

如此交替进行，且在 [ t i − 1 , t i ] 阶段内，每次流加时长相同，两次流加之间间隔的时长也相同。记 [ t i − 1 , t i ] 阶段内底物每次流加时长为 τ i ，即 τ i = θ i , 2 k + 1 − θ i , 2 k , i = 1 , 2 , ⋯ , N ，并将一次流加的开始到下一次流加的开

始称为一个流加控制周期，其时长记为 δ i ，即 δ i = θ i , 2 k − θ i , 2 k − 2 ， k = 1 , 2 , ⋯ , s i 2 , i = 1 , 2 , ⋯ , N 。在生物实验

中，一般取 δ i 为一个固定常数，即 δ i = δ 。根据上面叙述，有

0 ≤ τ i ≤ δ , i = 1 , 2 , ⋯ , N (11)

令 τ = ( τ 1 , τ 2 , ⋯ , τ N ) ，并令 Γ 为包含所有满足约束的 τ 的集合。由 τ 可知，当 τ 给定后，则v在任何时刻的值可唯一确定，记为 v ( t ; τ ) 。批式流加发酵过程控制系统描述如下：

X ˙ = ( μ X − d X ) X , (12)

S ˙ = − q S X + ρ S − S V v ( t ) , (13)

V ˙ = v ( t ) , (14)

其中， d X 是细胞的比衰减率， ρ S 是培养液中底物的浓度， μ X 是细胞的比生长率，以及 q S 是底物的比消耗率。具体形式如下：

μ X = μ m S S + K S ( 1 − S S * ) , (15)

q S = m S + μ X Y S . (16)

这里， μ m 是细胞的最大比生长率， K S 是饱和常数， S * 是细胞停止生长的底物浓度的临界值。 m S 和 Y S 是动力学参数。

事实上，在不同的发酵阶段 μ m 和 m S 会发生变化，因此，我们考虑把 μ m 和 m S 看作是不确定参数。假设不确定参数的一阶矩和二阶矩分别是 μ ¯ 、 σ 1 以及 m ¯ 、 σ 2 。为叙述方便，令

f ( x , v , μ m , m S ) : = ( ( μ X − d X ) X , − q S X + ρ S − S V v ( t ) , v ( t ) ) ⊤ 。

本文考虑了多参数不确定切换系统分布鲁棒最优控制问题。以不确定参数已知的一阶矩和二阶矩为约束，以最差期望性能为目标性能，建立切换系统分布鲁棒最优控制模型。利用非线性规划方法对内层问题进行求解，再利用竞争粒子群方法对外层进行求解。最后，以一类微生物批式流加发酵分布鲁棒最优控制问题对切换系统分布鲁棒最优控制问题的应用进行了说明。数值结果显示了算法的有效性。

国家自然科学基金面上项目(11671335)；福建省自然科学基金项目(2021J01660)。

王 佳,张政颖. 一类多参数不确定切换系统的分布鲁棒最优控制Distributionally Robust Optimal Control of a Class of Switched Systems with Multiple Uncertain Parameters[J]. 应用数学进展, 2022, 11(12): 9072-9080. https://doi.org/10.12677/AAM.2022.1112957