地下水模型中非均匀介质的复杂性及观测数据的稀缺性使模型存在不确定性。为了更好地预测模型的输出,需要我们基于有限的观测数据来估计模型中的未知参数,降低不确定性。贝叶斯方法是刻画不完全数据、模型偏差和测量误差带来的不确定性的有效方式,它可以根据现有数据确定参数向量的后验分布。在实际应用中,其主要挑战在于从后验分布中抽样。传统抽样方法随未知参数维数的增加而出现退化现象。本文主要利用最大期望变量选择(EMVS)方法来识别稀疏离散余弦变换(DCT)系数,并对后验分布中的超参数进行自适应更新,以提高问题的求解效率;特别地,利用逆Hessian矩阵来加速朗之万动力学蒙特卡洛马尔科夫链(MCMC)的收敛速度,使用敏感性矩阵构造的简化模型来有效地计算梯度和Hessian矩阵,高效地解决高维不确定性分析和反演问题。基于地下水源项识别高维反演数值实验,验证了反演方法能够得到可靠的参数估计,为提高地下水模拟在实际应用中的可靠性和计算效率提供了新的思路,对后续的地下水资源管理决策制定具有重要意义。 Groundwater model of heterogeneous media and its scarcity of observation data and other related factors makes the existence of uncertainty. In order to better predict the output of the model, we need to estimate the input and parameters of the model based on limited observational data to re-duce the uncertainty. Bayesian method is an effective way to describe the uncertainty caused by incomplete data, model deviation and measurement error. It can determine the posterior distribu-tion of parameter vectors according to the existing data. In practical application, the main challenge lies in sampling. The traditional sampling method degrades with the increase of the dimension of unknown parameters, that is, the convergence is slow. In this paper, an inversion algorithm is pro-posed to identify sparse discrete cosine transform (DCT) coefficients in expectation maximized var-iable selection (EMVS) frame, and adaptively update the hyperparameters to improve the solving efficiency of the problem. In particular, the inverse Hessian is used to accelerate the convergence of Langevin dynamics Monte Carlo Markov Chain (MCMC), and the simplified model is used to compute the gradient and Hessian effectively to solve the high dimensional uncertainty analysis and inver-sion problems efficiently. Based on the high-dimensional inversion numerical experiment of groundwater source item identification, it is verified that the inversion method can obtain reliable parameter estimation, which provides a new idea for improving the reliability and computational efficiency of groundwater simulation in practical application, and has important significance for the subsequent decision-making of groundwater resource management.
地下水模型中非均匀介质的复杂性及观测数据的稀缺性使模型存在不确定性。为了更好地预测模型的输出,需要我们基于有限的观测数据来估计模型中的未知参数,降低不确定性。贝叶斯方法是刻画不完全数据、模型偏差和测量误差带来的不确定性的有效方式,它可以根据现有数据确定参数向量的后验分布。在实际应用中,其主要挑战在于从后验分布中抽样。传统抽样方法随未知参数维数的增加而出现退化现象。本文主要利用最大期望变量选择(EMVS)方法来识别稀疏离散余弦变换(DCT)系数,并对后验分布中的超参数进行自适应更新,以提高问题的求解效率;特别地,利用逆Hessian矩阵来加速朗之万动力学蒙特卡洛马尔科夫链(MCMC)的收敛速度,使用敏感性矩阵构造的简化模型来有效地计算梯度和Hessian矩阵,高效地解决高维不确定性分析和反演问题。基于地下水源项识别高维反演数值实验,验证了反演方法能够得到可靠的参数估计,为提高地下水模拟在实际应用中的可靠性和计算效率提供了新的思路,对后续的地下水资源管理决策制定具有重要意义。
最大期望变量选择,非高斯随机场,Langevin蒙特卡洛马尔科夫链
Qianye Huang1, Na Ou1*, Xiaoyan Song2
1School of Mathematics and Statistics, Changsha University of Science and Technology, Changsha Hunan
2School of Science, Hunan University of Technology and Business, Changsha Hunan
Received: Dec. 25th, 2023; accepted: Jan. 19th, 2024; published: Jan. 25th, 2024
Groundwater model of heterogeneous media and its scarcity of observation data and other related factors makes the existence of uncertainty. In order to better predict the output of the model, we need to estimate the input and parameters of the model based on limited observational data to reduce the uncertainty. Bayesian method is an effective way to describe the uncertainty caused by incomplete data, model deviation and measurement error. It can determine the posterior distribution of parameter vectors according to the existing data. In practical application, the main challenge lies in sampling. The traditional sampling method degrades with the increase of the dimension of unknown parameters, that is, the convergence is slow. In this paper, an inversion algorithm is proposed to identify sparse discrete cosine transform (DCT) coefficients in expectation maximized variable selection (EMVS) frame, and adaptively update the hyperparameters to improve the solving efficiency of the problem. In particular, the inverse Hessian is used to accelerate the convergence of Langevin dynamics Monte Carlo Markov Chain (MCMC), and the simplified model is used to compute the gradient and Hessian effectively to solve the high dimensional uncertainty analysis and inversion problems efficiently. Based on the high-dimensional inversion numerical experiment of groundwater source item identification, it is verified that the inversion method can obtain reliable parameter estimation, which provides a new idea for improving the reliability and computational efficiency of groundwater simulation in practical application, and has important significance for the subsequent decision-making of groundwater resource management.
Keywords:EMVS, Non-Gaussian Random Field, Langevin MCMC
Copyright © 2024 by author(s) and beplay安卓登录
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
地下流体流动预测模型是地下水和油气资源开发,以及场地修复和清理活动的开发和管理的重要一环。当有可靠的模型输入时,基于地下水模型的石油生产和管理是十分有效的。然而,在实践中,地下岩石层的复杂性、地区差异性和不可接近性,给储层油气勘探和开采带来了很大困难。人们通过一定的观测数据,对模型中的未知参数进行估计,进而做出合理的预测用于指导生产。
贝叶斯方法 [
蒙特卡洛马尔科夫链(MCMC) [
另一方面,采用适当的方法对未知随机场参数化,降低未知参数的维数,可以降低抽样方法的计算量。一种高效且直接的方法是使用标准正交线性变换。在流行的压缩基中,Karhunen-Loève或主成分分析最广泛地用于基于先验协方差(二阶)信息的参数化和模型约简 [
为了合理地估计DCT基函数的稀疏系数和正则化参数,本文采用了贝叶斯方法。我们使用期望最大化变量选择(EMVS)方法 [
本文的大纲如下,在第二章中,我们着重描述了在EMVS框架下识别DCT系数的具体过程。在第三章中,我们将该方法应用于地下水流模型非高斯源项场的识别,探讨和比较了该方法在不同预处理矩阵下的收敛效果,并在参数样本的基础上对模型输出变量做出了预测。
通常,信号的大部分能量都用低阶DCT系数表示。因此,这种数学变换可以用于模型压缩,这是通过将基函数项的系数设置为超过某个阈值等于零(截断)来实现的。在这种情况下,与保留的基相关联的系数成为表达信号的参数,而在反问题中,它们是要检索的未知参数。此外,由于其近似能力、数据无关(预构造)基础和计算复杂度低,离散余弦变换已经成功并广泛地应用于信号及图像处理领域。长度为N的离散一维DCT [
v ( k ) = α ( k ) ∑ n = 1 N cos [ π ( 2 n − 1 ) ( k − 1 ) 2 N ] , 1 ≤ k ≤ N ,
其中 α ( k ) 被定义为
α ( k = 1 : N ) = 2 α ( 0 ) = 2 N .
在多维空间中,DCT基由一维基的元素之间的笛卡尔积得到,这允许有效的、可分离的处理多维信号。设一个二维储层离散参数场,在x方向有M个网格,y方向有N个网格。对该参数场进行离散余弦变换为
Φ ( m , n ) = α M ( m ) α N ( n ) ∑ i = 0 M − 1 ∑ j = 0 N − 1 cos [ π ( 2 i + 1 ) m 2 M ] cos [ π ( 2 j + 1 ) n 2 N ] ,
其中 m = 1 , ⋯ , M , n = 1 , ⋯ , N ,且
α M ( m ) = { 1 M , m = 0 2 M , m ≠ 0 , α N ( n ) = { 1 N , n = 0 2 N , n ≠ 0 .
记一维DCT基函数矩阵为 I x ∈ ℝ M × M ,其元素为
[ I x ] i , m = α ( i ) cos [ π ( 2 m − 1 ) ( i − 1 ) 2 M ] ,
且 I y ∈ ℝ N × N ,其元素为
[ I y ] j , n = α ( j ) cos [ π ( 2 n − 1 ) ( j − 1 ) 2 N ] ,
则二维DCT基函数可以写为如下矩阵形式
Φ = I x ⊗ I y ,
其中 ⊗ 表示张量积。
记 d ∈ ℝ n d 为观测数据, ξ ∈ ℝ p 是待估计的未知参数。我们假设输入的 ξ 和数据之间的关系为
d = G ( Φ ξ ) + ε ,
其中 Φ ∈ ℝ n × p 是正交矩阵,其列是一组正交压缩基,本文采用离散余弦变化基函数作为压缩基。 G : ξ → ℝ n d 为正演模型, ε ~ N ( 0 , σ 2 I ) 是独立同分布的噪声。那么似然函数可以写成
π ( d | ξ ) = ( 2 π σ 2 ) − n d 2 exp ( − ‖ d − G ( Φ ξ ) ‖ 2 2 2 σ 2 ) .
根据EMVS方法 [
π ( ξ i | σ 2 , γ i ) = ( 1 − γ i ) N ( 0 , σ 2 v 0 ) + γ i N ( 0 , σ 2 v 1 ) ,
其中N为正态分布, v 0 是“spike”参数, v 1 是“slab”参数,且 0 ≤ v 1 < v 0 。在参数化目标函数后的DCT域中,尽管有大量的基函数,但通常只有少数基函数与目标函数有真正的联系。因此,我们有理由假设真正的 ξ 是稀疏的,即使p在增长,其非零元素始终是有限数量的,我们的目标是识别非零元素。
误差方差 σ 2 遵循逆伽马先验 π ( σ 2 | γ i ) = I G ( ν / 2 , ν λ / 2 ) ,恰当的先验分布可以使得后验分布的显式表达形式。当参数 ξ i 较小或较大时,引入的二进制潜在变量 γ i 等于0或1。另外, γ 的先验遵循伯努利分布, π ( γ | θ ) = θ | γ | ( 1 − θ ) p − | γ | ,它包含了关于模型中需要包含哪些 ξ i 的不确定性。这里, | γ | = ∑ j p γ j 以及 θ 服从 π ( θ ) = θ a − 1 ( 1 − θ ) b − 1 ,其中 a = b = 1 产生唯一的超先验 θ ~ U ( 0 , 1 ) 。
由此,后验分布有如下形式
π ( ξ , σ 2 , θ , γ | d ) ∝ π ( d | ξ , σ 2 ) π ( ξ | σ 2 , γ ) π ( σ 2 | γ ) π ( γ | θ ) π ( θ ) .
潜在的包含指标 γ 被视为“缺失数据”。由于这个函数是不可观察的,它在每次迭代中都被给定观察数据和当前参数估计的条件期望所取代,即所谓的E步。在第k次迭代中,EM算法通过迭代最大化下面的目标函数来间接最大化 π ( ξ , σ 2 , θ | d ) ,
Q ( ξ , σ , θ | ξ k , σ k , θ k ) = E γ | ⋅ [ log π ( ξ , σ , θ , γ | d ) | ξ k , σ k , θ k , d ] ,
其中 E γ | ⋅ ( ⋅ ) 表示条件期望 E γ | ξ k , σ k , θ k , d ( ⋅ ) 。这一步骤也就是我们算法中期望的E步计算。对于上述共轭“spike-and-slab”混合分层先验公式,目标函数可以分离为
Q ( ξ , σ , θ | ξ k , σ k , θ k ) = C + Q 1 ( ξ , σ | ξ k , σ k , θ k ) + Q 2 ( θ | ξ k , σ k , θ k ) ,
其中
Q 1 ( ξ , σ | ξ k , σ k , θ k ) = − ‖ d − G ( Φ ξ ) ‖ 2 2 2 σ 2 − n d − 1 + p + ν 2 log ( σ 2 ) − ν λ 2 σ 2 − 1 2 σ 2 ∑ i = 1 p ξ i 2 E γ | ⋅ [ 1 v 0 ( 1 − γ i ) + v 1 γ i ] ,
Q 2 ( θ | ξ k , σ k , θ k ) = ∑ i = 1 p log ( θ 1 − θ ) E γ | ⋅ γ i + ( a − 1 ) log ( θ ) + ( p + b − 1 ) log ( 1 − θ ) .
如在 [
E γ | ⋅ [ γ i ] = P ( γ i = 1 | ξ k , σ k , θ k ) = q i ,
其中
q i = a i a i + b i ,
a i = π ( ξ k | σ k , γ i = 1 ) P ( γ i = 1 | θ k ) = π ( ξ k | γ i = 1 ) θ k , b i = π ( ξ k | σ k , γ i = 0 ) P ( γ i = 0 | θ k ) = π ( ξ k | γ i = 0 ) ( 1 − θ k ) .
函数 Q 1 中的期望可以计算为
E γ | ⋅ [ 1 v 0 ( 1 − γ i ) + v 1 γ i ] = 1 − q i v 0 + q i v 1 = d i . (1)
在M步中,我们分别最大化目标函数 Q 1 和 Q 2 ,来分别更新 ( ξ , σ ) 和超参数 θ 。通过在这两个步骤之间迭代,EM算法生成了一系列参数估计。下降搜索方案通常需要前向模型的梯度信息,并会陷入非线性非凸目标函数 [
如上一节EMVS方法所介绍的, ξ 的优化目标函数 Q 1 ( ξ , σ | ξ k , σ k , θ k ) ,通过最大化目标函数可得到 ξ k + 1 的值,即
ξ k + 1 = arg max ξ ∈ ℝ p Q 1 ( ξ , σ | ξ k , σ k , θ k ) = arg min { ‖ d − G ( Φ ξ ) ‖ 2 + ‖ D 1 / 2 ξ ‖ 2 } ,
其中 D ∈ ℝ p × p 为一个对角矩阵 diag { d i } ,其对角元素由方程(1)计算。我们借鉴了论文 [
d ξ t = Σ ∇ ξ Q 1 ( ξ t | ξ k , σ k , θ k ) d t + 2 Σ d W t , (2)
其中 Σ 是一个任意的对称正定矩阵, W t ∈ ℝ n 是一个标准的n维布朗运动,它可以帮助粒子 ξ 逃离局部域,探索全局域。我们使用Euler-Maruyama格式 [
ξ k + 1 = ξ k + δ Σ ∇ ξ Q 1 ( ξ k | ξ k , σ k , θ k ) + 2 δ Σ w k ,
其中, δ 是时间步长, w k ~ N ( 0 , I ) 。预处理矩阵 Σ 被设置为 I 或者在 ξ k 点处的局部逆黑森 [
H ( ξ ) = ∇ ξ 2 Q 1 ( ξ | ξ k , σ k , θ k ) .
超参数 σ 和 θ 分别通过最大化 Q 1 和 Q 2 来更新。综上所述,算法1列出了未知数后验的采样。我们在后面的数值例子中讨论了预处理矩阵 Σ 的影响。
Algorithm 1. EMVS方法下的DCT系数识别
在本节中,我们使用所提出的方法来反演识别未知源项场。我们考虑地下水流模型,它由下面的抛物线方程来描述,
∂ u ( x , t ) ∂ t = div ( κ ( x ) ∇ u ( x , t ) ) + f ( x ) , x ∈ Ω , t ∈ ( 0 , T ] , (3)
其中模型求解区域为 [ 0 , 1 ] × [ 0 , 1 ] , T = 0.1 。我们的目标是反演未知源函数 f ( x ) ,我们将边界条件设为齐次Dirichlet边界,初始条件设为 u 0 ( x ) = 0 , κ ( x ) = 1 。观测数据为T时刻区域边界上的通量,即 ∂ u ∂ n | ∂ Ω ,其中 n 为单位外法向量。
为了进行模拟,我们需要在有限维空间中表示函数 f ( x ) 。因此我们沿用前文介绍的离散余弦变化再参数化技术,将源函数投影到由p个DCT基函数跨越的空间上。即在DCT域上,源函数可以表示为
f ( x j ; ξ ) = ∑ i = 1 p ξ i Φ ( j , i ) ,
其中 ξ 是待反演的未知参数, Φ ∈ ℝ n × p 是截断的DCT基函数。由于方程(3)的解线性依赖于源函数,我们有以下近似:
G ( Φ ξ ) = S ξ
其中 S 为敏感性矩阵,由以下表达式定义:
S = [ ∂ u ( Φ 1 ) ∂ n | ∂ Ω , ∂ u ( Φ 2 ) ∂ n | ∂ Ω , ⋯ , ∂ u ( Φ p ) ∂ n | ∂ Ω ]
在这里 u ( Φ i ) ∈ ℝ n d 表示右端源项为 Φ i 时,正演模型的相关输出变量, Φ i 为矩阵 Φ 的第i列。
观测数据由真实的 f ( x ) 产生,真实的 f ( x ) 如图1所示。在生成观测数据时,我们采用的物理网格为45 × 45,时间上的离散步长为 Δ t = 0.001 。为了避免出现“反问题陷阱”(inverse crime)这一现象在反演过程中求解正问题所采用的时间步长为 Δ t = 0.002 。我们将应用前文提到的贝叶斯方法来反演未知的随机场。
图1. (a) f ( x ) 的真实分布情况,(b) 真实 f ( x ) 对应的DCT系数
在本章数值实验中,选择较为低频的二维DCT基函数,参数化基函数数量设为120,即未知参数 ξ 的维数为 p = 120 。EMVS中待求参数初始值设置为 ξ = I P , σ = 1 , θ = 0.5 。“spike and slab”混合分层先验分布参数设定分别为 v 0 = 10000 , v 1 = 2 ,调整步长 δ = 0.001 。我们按照算法1,在不同的预处理矩阵条件下,分别抽取了30,000个样本,其结果如图2所示。
从图中可以看出,经过预处理的Langevin MCMC方法可以得到通道的大致位置及形状,即使是在观测数据有限且聚集在边缘的情况下,而未经过预处理的Langevin MCMC方法的表现不尽如人意。由图2第二列的可以看出,在带预处理的Langevin MCMC方法下,其散点大致分布在 y = x 这条线上,绝大多数系数被截断为0,即散点聚集在 y = 0 的线上。重要的DCT基函数大多在模型中正确保留下来,即相应系数没有被估计为0。未预处理的Langevin MCMC算法,其中一些显著不为0的参数散点同样大致分布在 y = x 这条线上,但其模型保留了过多变量,即过多的基函数没有被截断,这些基函数中包含了大量高频的DCT基向量。
图2. 第一行为未经预处理的Langevin MCMC获得的结果,第二行为以逆Hessian矩阵为预处理矩阵的Langevin MCMC方法获得的结果。第一列为 f ( x ) 的均值,第二列为 ξ 的估计值与参考值之间的对比图
按照算法1的原理和步骤,我们集合每次迭代中代数式
arg min { ‖ d − G ( Φ ξ k ) ‖ 2 + ‖ D 1 / 2 ξ k ‖ 2 }
的值来刻画迭代曲线。迭代运算30,000次得到未经过预处理与经过预处理的方法各自相应的反演迭代曲线如图3所示。我们发现无预处理算法的迭代曲线(图3(a))始终没有进入稳定收敛区域,只在迭代初期曲线有明显剧烈下降。经过预处理的Langevin MCMC算法在前5000次迭代中已经急剧下降,并接近迭代最终值,这说明在算法中加入预处理的步骤可以有效提高计算的效率。
图3. 目标函数Q1随迭代次数变化曲线图,结果来自于:(a) 未经预处理的Langevin MCMC方法,(b) 预处理矩阵为逆Hessian矩阵的Langevin MCMC方法
上一节我们发现经过预处理的Langevin MCMC方法对源函数的反演效果显著优于未经过预处理的Langevin MCMC方法,本节我们针对两种方法分别反演得到的待求参数后验样本,将参数 ξ 的样本代入到正演模型中,来得到相应的观测 d 的后验样本并对比。为了显示我们仅依靠网格边缘的部分观测数据,对参数的估计可靠性,尤其是在距离观测位置很远的中部,我们在图的中间位置任意选取2条函数线 x = 20 / 45 和 y = 25 / 45 ,分别得到相应的预测输出值,同时与真实值作对比。
图4. 未经预处理和逆Hessian预处理Langevin MCMC方法下的输出变量分别在(a, b) x = 20 / 45 (c, d) y = 25 / 45 处的预测情况。第一列为未经预处理方法的结果,第二列为经过预处理的结果
预测结果如图4所示,其中红色实线代表所选取位置上的真实值,蓝色虚线是将所提出方法反演得到的未知参数 ξ 的后验样本代入观测方程后得到的相应位置的输出样本均值,红色实线与蓝色虚线越靠近,说明数据预测结果越好。蓝色阴影区域是预测均值的95%置信区间。可以看到,在任何预测位置上,经过预处理Langevin MCMC算法反演的未知参数 ξ 得到的预测结果其预测值与真实值都较为吻合,大多数都落在95%置信区间内,因此认为我们的方法反演出来的参数估计结果可以用于模型预测。有预处理的Langevin MCMC方法所求未知参数预测得到的压力值较无预处理的Langevin MCMC方法所求未知参数压力预测值与真值更加接近。利用所提出的方法得到的对源项的反演结果可以用于模型预测,得到的预测值与真实值较吻合,预测精度较高。从预测结果来看,运用有预处理的Langevin MCMC方法所求未知参数求得的预测压力值与真值更加接近,结果精度更高。
本文在贝叶斯框架下,构建了一套地下水流非高斯源项场反演识别研究方法体系,该体系结合了数理方程正反演、离散余弦变化、再参数化、贝叶斯推断、Langevin MCMC、EMVS、预处理技术等多种理论与方法,综合运用理论分析和数值实验相结合的研究方式,针对地下水流非高斯参数场反演识别研究前沿中尚待解决的科学问题开展了系统性研究,丰富和拓展了地下水流非高斯源项场反演识别的理论基础,为实际地下油藏勘探、油气资源开发提供了重要参考。本文研究的假想例子为二维地下水非高斯源项场,条件较为简单。今后研究中,希望在更复杂的条件下进行识别研究:如地下水非线性渗透场,更大的观测误差,更少的观测数据等。
欧娜感谢国家自然科学基金委11901060,湖南省自然科学基金2021JJ40557以及湖南省教育厅优秀青年项目22B0333的支持;宋晓燕感谢国家自然科学基金委12301551,湖南省自然科学基金2022JJ40125以及湖南省教育厅优秀青年项目22B0635的支持。
黄千叶,欧 娜,宋晓燕. 基于贝叶斯推断的地下水流模型非高斯源项场的识别Research on Identification of Non-Gaussian Source Term Field in Subsurface Flow Model Based on Bayesian Inference[J]. 应用数学进展, 2024, 13(01): 349-359. https://doi.org/10.12677/AAM.2024.131037
https://doi.org/10.1201/9781482296426
https://doi.org/10.1214/13-STS421
https://doi.org/10.2307/3318418
https://doi.org/10.2118/5740-PA
https://doi.org/10.1007/s11004-007-9131-7
https://doi.org/10.2118/106453-PA
https://doi.org/10.2118/87820-PA
https://doi.org/10.1080/01621459.2013.869223
https://doi.org/10.1007/s11004-009-9247-z
https://doi.org/10.1016/j.jcp.2021.110134
https://doi.org/10.4310/CMS.2004.v2.n4.a7
https://doi.org/10.1137/110845598