PM Pure Mathematics 2160-7583 Scientific Research Publishing 10.12677/pm.2024.143085 PM-83424 pm2024143_61252287.pdf 数学与物理 基于动态模式分解的时间序列的因果关系分析 Causal Relationship of Time Series Based on Dynamic Mode Decomposition 汪 荟宇 1 2 null 上海理工大学管理学院，上海 12 03 2024 14 03 58 73 © Copyright 2014 by authors and Scientific Research Publishing Inc. 2014 This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/

本文基于动态模式分解(DMD)分析四种气候时间序列(地表温度，海面温度，太阳黑子和碳排放)的模式之间的因果关系。通过延迟坐标的形式把每条单变量时间序列嵌入至多维，DMD捕捉了气候时间序列中不同的演化特征，对这些特征进行不同数量的截断，提取出不同快慢层面的模式。转移熵(TE)得出了模式之间的因果关系，我们观察到因果关系在各种模式间的分布。总体上看，由最大特征值提取的主导模式具有较大周期或长期趋势，它作为很强的驱动因素，与自身内部的快模式，以及其他气候对象的模式之间有着很强的关联。太阳黑子的长期趋势对海面温度的各种周期和长期趋势有很大贡献，影响程度大于地表温度。碳排放主要影响气温极慢的模式即超长期趋势，气温反过来对碳排放的影响偏弱。四个气候对象构建的因果框架显示，因果信息的传递基本平衡，海面温度比地表温度吸收了更多的信息。这些方法的联合使用可以成为从复杂系统中提取各种模式，分析内蕴性质和探索因果关系的灵活工具。 This study explores the causal relationships between modes in four climate time series (surface temperature, sea surface temperature, sunspots and carbon emissions) using Dynamic Mode Decomposition (DMD). By embedding each univariate time series into multidimensional space using delay coordinates, DMD captures distinct evolutionary features in the climate time series. Different truncations of these features reveal modes at various timescales. Transfer Entropy (TE) is employed to quantify the causal relationships between modes, revealing the distribution of causal interactions among different modes. Overall, dominant modes extracted from the maximum eigenvalue exhibit larger cycles or long-term trends. These dominant modes serve as strong driving factors, displaying significant associations with fast internal modes and modes of other climate objects. The long-term trend in sunspots contributes significantly to various cycles and long-term trends in sea surface temperature, with a greater impact than on surface temperature. Carbon emissions predominantly influence extremely slow temperature modes, representing ultra-long-term trends, while the influence of temperature on carbon emissions is relatively weak. The causal framework constructed for the four climate objects illustrates a relatively balanced transfer of causal information, with sea surface temperature absorbing more information than surface temperature. The combined use of these methods serves as a flexible tool for extracting diverse modes from complex systems, analyzing intrinsic properties, and exploring causal relationships.

 动态模式分解，模式，转移熵，因果关系, DMD Mode TE Causal Relationship 摘要

本文基于动态模式分解(DMD)分析四种气候时间序列(地表温度，海面温度，太阳黑子和碳排放)的模式之间的因果关系。通过延迟坐标的形式把每条单变量时间序列嵌入至多维，DMD捕捉了气候时间序列中不同的演化特征，对这些特征进行不同数量的截断，提取出不同快慢层面的模式。转移熵(TE)得出了模式之间的因果关系，我们观察到因果关系在各种模式间的分布。总体上看，由最大特征值提取的主导模式具有较大周期或长期趋势，它作为很强的驱动因素，与自身内部的快模式，以及其他气候对象的模式之间有着很强的关联。太阳黑子的长期趋势对海面温度的各种周期和长期趋势有很大贡献，影响程度大于地表温度。碳排放主要影响气温极慢的模式即超长期趋势，气温反过来对碳排放的影响偏弱。四个气候对象构建的因果框架显示，因果信息的传递基本平衡，海面温度比地表温度吸收了更多的信息。这些方法的联合使用可以成为从复杂系统中提取各种模式，分析内蕴性质和探索因果关系的灵活工具。

 关键词

动态模式分解，模式，转移熵，因果关系

 Causal Relationship of Time Series Based on Dynamic Mode Decomposition<sup> </sup>

Huiyu Wang

Business School, University of Shanghai for Science and Technology, Shanghai

Received: Jan. 22nd, 2024; accepted: Mar. 20th, 2024; published: Mar. 27th, 2024

 ABSTRACT

This study explores the causal relationships between modes in four climate time series (surface temperature, sea surface temperature, sunspots and carbon emissions) using Dynamic Mode Decomposition (DMD). By embedding each univariate time series into multidimensional space using delay coordinates, DMD captures distinct evolutionary features in the climate time series. Different truncations of these features reveal modes at various timescales. Transfer Entropy (TE) is employed to quantify the causal relationships between modes, revealing the distribution of causal interactions among different modes. Overall, dominant modes extracted from the maximum eigenvalue exhibit larger cycles or long-term trends. These dominant modes serve as strong driving factors, displaying significant associations with fast internal modes and modes of other climate objects. The long-term trend in sunspots contributes significantly to various cycles and long-term trends in sea surface temperature, with a greater impact than on surface temperature. Carbon emissions predominantly influence extremely slow temperature modes, representing ultra-long-term trends, while the influence of temperature on carbon emissions is relatively weak. The causal framework constructed for the four climate objects illustrates a relatively balanced transfer of causal information, with sea surface temperature absorbing more information than surface temperature. The combined use of these methods serves as a flexible tool for extracting diverse modes from complex systems, analyzing intrinsic properties, and exploring causal relationships.

Keywords:DMD, Mode, TE, Causal Relationship

Copyright © 2024 by author(s) and beplay安卓登录

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

 1. 引言

时间序列是复杂系统演化的记录，它蕴藏着系统内在的动力学特征。时间序列分析可以获取有意义的信息，比如捕捉系统的演化行为，提取系统中不同时空结构以及分析它们的相互作用。我们将时间序列视为一种信号，这个信号处理问题通常将数据分解为不同层面，从而将信号中的趋势与噪声解耦。过去的研究在建模和分析方面遇到了很多困难和挑战，高维和非线性特征使之在空间和时间上都表现出多尺度现象。尽管时间序列提供了丰富的可用数据，但构建准确的模型仍然是一项艰巨的工作。为了应对这种复杂性，本文提出了一种纯粹数据驱动的方法：动态模式分解(dynamic mode decomposition, DMD)。

DMD起源于计算流体动力学(CFD)领域，最初被设计为一种基于时空相干结构将复杂流体分解为低秩特征方法 [ 1 ] 。如今它被应用于广泛的领域，在计算机视觉中，DMD能够将视频稳健地分离为背景和前景 [ 2 ] 。在生物识别领域，它有助于检测样本的有效性 [ 3 ] 。在机器人技术和神经科学领域，DMD在估计人机交互中的扰动 [ 4 ] 和从大规模神经记录中提取一致模式 [ 5 ] 等方面发挥了关键作用。所有上述DMD应用都以数据矩阵作为输入，例如用DMD分析视频时，将输入数据转换为列矢量，每个列矢量表示一帧图像。

除了数据驱动性，DMD还有一些其他的特点。首先是优秀的降维效果。随着一项DMD应用于单变量时间序列的研究问世 [ 6 ] ，体现了DMD能够从单变量序列中提取内蕴模式的能力。本文将用DMD处理不同的单变量信号，以延迟坐标的形式把单变量时间序列嵌入至多维时间序列，我们通过类比DMD如何处理视频来分析DMD如何处理这个数据矩阵：每一列表示当前时间点包含的观测量(像素)，每一行代表一个时间窗口(帧数)，行数远大于列数。DMD作为降维算法，通过适当地投影，它从大量的观测量中提取到少数特征构成的模式。第二，DMD能够捕捉信号中主导的模式。模式的快慢程度主要受特征值控制，其中上升和下降趋势由特征值的实部体现，而周期性由特征值的虚部反映。DMD允许我们自由控制特征截断数r来得到不同快慢层面的特征，这样我们能够提取出一系列主要的模式，并进一步发掘隐藏在部分模式中的非线性关联。我们不对原始时间序列作任何预处理，一方面是因为DMD的数据驱动和无方程性质，不对源数据做任何适用条件和限制；另一方面是在剔除噪声的同时可能会导致原有的谐波结构丢失。与其他的滤波工具类似，DMD保持了信号中的各种谐波结构，这些结构作为模式的一部分，它们是不可分离的，共同构成了系统的一部分演化特征。本文的DMD框架把噪声视为不希望保留的分量，通过选取不同的r，我们就过滤了不同层级的噪声，提取了各种层面的模式。第三，DMD作为一种线性方法，它假设系统中存在一个不变的线性算子，详见方法中对DMD的数学推导部分。

我们的研究对象是实际的气候时间序列。气候作为典型的复杂系统，它受到各种不同环境因素的影响，可大致分为两个领域：自然效应和人类活动。碳排放已经成为人类活动的代表性驱动因素，它对地球气候产生了重大影响；然而气候与太阳的关系一直以来争论颇多，作为太阳活动最直接的体现，太阳黑子数量和气温的联系是过去研究的热点 [ 7 ] [ 8 ] 。越来越多的证据表明太阳黑子和气温之间的关系具有非线性特征 [ 9 ] [ 10 ] ，仅仅从线性的角度和方法难以捕捉到隐藏在各种模式之间的非线性关联。且过去的研究针对不同气候对象的两两关系，没有考虑到同一气候对象的内部模式之间的关联。事实上，内部的各种模式并不是相互独立的，通过研究内部模式的关联，我们能够更全面地理解某种气候对象自身的演化规律。不同模式或频段之间的性质差异十分显著，我们的研究将提取不同快慢程度的模式，更深入地揭示这些关联如何分布在各种模式中。

信息论方法在解释气候变量关联方面展现出很大的潜力 [ 11 ] ，已有一项基于转移熵的研究分析了包括太阳和碳排放在内的等很多环境因素对气温的影响，但这项研究直接对信号本身计算转移熵，未分解或提取任何时空结构 [ 12 ] 。转移熵(transfer entropy, TE)作为非线性因果关系的度量，它的优势在于因果关系的单向性。比如地球气温绝不会对太阳黑子有任何影响，即使气温和碳排放之间存在双向关系，因果强度也会存在差异，TE能提供更准确的结果。我们借助k近邻(kNN)估计的TE量化各种模式之间的关联 [ 13 ] [ 14 ] 。

我们的目标是分析因果关系如何分布在快慢模式中。技术方案包括三个步骤。第一，对本文的四串单变量时间序列分别用延迟坐标方法嵌入至多维时间序列。第二，分别确定最大特征截断数，用DMD提取一系列模式。第三，用TE分析各种模式之间的非线性关联。观察因果强度在不同模式之间的分布，评估因果关系发生的快慢层面。几个比较重要的结果是：关联集中于少数特征提取的慢模式；最大的主导模式作为因，它会对包含更多周期的其他主要模式产生重大影响；太阳黑子对气温在各种快慢层面上均有显著影响；碳排放主要影响气温的长期趋势；四个气候对象构建的因果框架显示，信息的流动基本平衡。

 2. 方法 2.1. 数据来源

我们的数据包括地表温度(Global land surface temperature, LST)，海面温度(sea surface temperature, SST)，太阳黑子数量(sunspot)和碳排放(carbon)。LST和SST分别来自于Berkeley Earth [ 15 ] 和Met Office Hadley Centre [ 16 ] 。这里的温度指温度异常值(temperature anomalies)，它表示偏离平均温度的值，平均温度来自于1961~1990。Met Office Hadley Centre不建议使用实际温度，因为温度记录是以经纬度划分的网格形式的，未覆盖整个地表比如高纬度地区；而温度异常值是对所有网格中异常值的平均，不确定性和系统性的误差都比实际温度小得多。太阳黑子数量来自于SILSO [ 17 ] 。碳排放来自于Global Carbon Budget 2022，包括化石燃料的燃烧和氧化，水泥和船用燃料的排放，单位为百万吨 [ 18 ] 。除了碳排放为年度时间序列，其他都为月度时间序列。当我们分析年度和月度序列之间关联时，把月度序列平均化以匹配年度序列。所有序列的时间跨度都为1850~2022，共173年。

 2.2. 嵌入至多维时间序列

我们从四个单变量时间序列中任取一个长度为n的信号x，

x = [ x 1 , x 2 , ⋯ , x n ] T , x ∈ { L S T , S S T , s u n s p o t , c a r b o n }

由相空间重构理论，以延迟坐标的形式把相邻样本嵌入到一个足够大的窗口。令窗口长度为L，可以得到一个长度为 K = n − L + 1 的多维时间序列XL。对于三个月度时间序列，我们取L = 144；对于年度的碳排放时间序列，取L = 3。

X L = [ x 1 l a g , ⋯ , x L l a g ]

XL中的列称为滞后向量 x t l a g 。

x t l a g = [ x t , x t + 1 , ⋯ , x n − L + t ] T ,     1 ≤ t ≤ L

窗口的个数即 x t l a g 的长度为n – L + 1，因此单变量时间序列x被分解为长度为L的n – L + 1个重叠窗口。水平堆叠 x t l a g ，XL可展开为矩阵的形式。

X L = [ x 1 l a g , ⋯ , x L l a g ] = [ x 1 x 2 ⋯ x L x 2 x 3 ⋯ x L + 1 ⋮ ⋮ ⋱ ⋮ x K x K + 1 ⋯ x n ]

 2.3. 动态模式分解

x中快照的采样间隔是固定的，相邻的滞后向量 ( x t l a g , x t + 1 l a g ) 也有着固定的时间间隔Δt。假设存在一个不变的线性算子A作用于 ( x t l a g , x t + 1 l a g ) 中。

x t + 1 l a g = A x t l a g

A对任意的 ( x t l a g , x t + 1 l a g ) 都成立，我们可以把A作用前后的 x t l a g 和 x t l a g 拓宽成两个滑动矩阵X1和X2。A把X1映射到X2，捕获了XL所有的 ( x t l a g , x t + 1 l a g ) 。

X 1 = [ x 1 l a g , ⋯ , x L − 1 l a g ] X 2 = [ x 2 l a g , ⋯ , x l l a g ] X 2 = A X 1

我们可以通过X1的MP伪逆 X 1 + 来间接地计算出A。

A = X 2 X 1 +

对X1进行降阶奇异值分解(SVD)得到左右奇异矩阵和奇异值U，V，Σ，这三个矩阵的正交性使得我们可以直接得出 X 1 + 。

X 1 ≈ U Σ V † ⇒ X 1 + = V Σ − 1 U †

完整大小的A由X2和经过分解后的 X 1 + 得出

A = X 2 V Σ − 1 U † ∈ R ( n − L ) × ( n − L )

A由数个低秩矩阵得出，因此它的秩，或者说它代表的动力系统所蕴含的特征数量远低于它的实际尺寸。我们希望构造A的低秩近似，这不但可以降低计算成本，更重要的是我们希望从A中寻找低维底流形中的特征。U作为原始数据堆叠而成的滑动矩阵X1的左奇异向量，它可以对X1的行数进行压缩：

X ˜ 1 = U † X 1 ∈ R L × L

U把X1中远大于列数的行数( n − L ≫ L )压缩到和列数一样的水平上，降维效果十分可观。两个低维的滑动矩阵之间也应存在一个低维的不变算子，

X ˜ 2 = A ˜ X ˜ 1 ∈ R L × L

U对X2进行同样的投影，并利用 A = X 2 X 1 + ，U将A投影到低维L × L子空间，

A ˜ ≈ U † A U = U † X 2 V Σ − 1 ∈ R L × L

通过保留前r个特征值与其对应的特征向量，我们就可以得到前r个最大的特征，A被投影到低维r × r子空间，我们现在可以改变r来调整特征的数量。

A r ≈ U r † A U r = U r † X 2 V r Σ r − 1 ∈ R r × r

对Ar特征分解 A r ω r = Λ r ω r ，代入上式有

A U r ≈ U r A r = U r ω r Λ r ω r − 1 ⇒ A ( U r ω r ) ≈ ( U r ω r ) Λ r

这样就得到了前r个特征Ar重构的A的特征向量 φ r = U r ω r ，我们在计算中应用它的对偶 [ 19 ] Φ r = A φ r 作为特征向量。

Φ r ≜ X 2 V r Σ r − 1 ω r

 2.4. 提取模式

DMD把离散时间动力系统 x t + 1 l a g = A x t l a g 中的不变算子A推广至连续时间动力学A并等间隔Δt采样，得到一个连续时间的动力系统

d x l a g d t = A x l a g ,   A = ln A / d t

我们用离散时间特征值 λ ，特征向量 Φ 以及初始状态 x 1 l a g 对应的系数 b = Φ + x 1 l a g 写出这个系统的离散形式的解

x ˜ t = ∑ j = 1 L Φ j λ j t − 1 b j = Φ Λ t − 1 b

它由L个特征解出，取前r个特征，将上式展开并用连续时间特征值 σ = ln λ / Δ t 替代，得到由前r个特征值构成的向量 σ r 对某条滞后向量 x t l a g 提取的r阶模式 x t r ，如图1：

图1. 对某条 x t l a g 的模式提取公式

x t r 作为从 x t l a g 提取的r阶模式，它的元素和r有关，但长度不受特征截断数r的控制，仅仅取决于窗口长度L.每一条 x t l a g 都有其对应的模式，我们可以得到由所有 x t l a g 构成的矩阵形式的模式 X L r 。其上下标r和L表示它是在一个特定的窗口长度下，由某个特征截断数生成的。

X L r = [ x 1 r , ⋯ , x L r ]

注意到XL是Hankel矩阵，它的每一条反对角线都对应同一个快照，那么 X L r 的每一条反对角线也应相等。事实上，滞后向量 x t l a g 张成了Krylov子空间：

X L = [ x 1 l a g , A x 1 l a g , ⋯ , A L − 1 x 1 l a g ]

这等价于利用滑动矩阵进行一次滑动 X 2 = A X 1 。X1和X2捕捉了所有的 x t l a g ，保证了不变算子 的准确性，但未保证 X L r 是Hankel的。我们对 X L r 中的每一条反对角线进行加权平均， [ 6 ] 得到最终的向量形式的模式 x L r ，形象化的展示见图2：

x L r = 1 / # ( D k ) ∑ i , j ∈ D k X L r ( i , j )

其中i，j为 X L r 的行和列，

D k 为第k条 X L r 的反对角线，

# ( D k ) 为 D k 中元素的数量。

图2. 反对角线加权平均法示意，不同的上划线表示这些样本来自不同的 x t l a g ，不一定相等

我们使用的DMD算法来自Kutz et al. [ 20 ] 主要步骤如表1。

Dynamic mode decomposition (DMD) algorith
算法：动态模式分解算法
1. 计算X1的SVD，得线性算子A： X 1 = U Σ V † ⇒ X 2 = A U Σ V † ⇒ A = X 2 V Σ − 1 U † 2. 构造A的前r个特征的低秩近似Ar： A r ≈ U r † A U r = U r † X 2 V r Σ r − 1 3. 对Ar特征分解： A r ω r = Λ r ω r 4. 构造r阶DMD特征向量 Φ r 以及初始系数： Φ r ≜ X 2 V r Σ r − 1 ω r ， b r = Φ r + x 1 l a g 5. 以前r个特征提取x的模式并平均化： x t r = ∑ k = 1 r ϕ k exp ( σ k t ) b k ⇒ x L r

表1. 动态模式分解(DMD)算法

我们希望从每种信号中提取出一系列模式，由于特征值的分布不是均匀的，所以需要遍历每一个r来提取模式，共R个模式，否则可能会遗漏合适的模式。确定模式的数量即最大的特征截断数R的方法是：对X1进行SVD，当前r个奇异值的平方和达到95%的总平方和时，取这个r作为最大的特征截断数R。表2为对各信号使用不同的最大特征截断数R来得到前r个特征值提取的模式。大于R的特征值，即后L − r个特征值表示对源信号的贡献小于5%的噪声，通过在r处截断，就剔除了这个r对应的贡献率以下的噪声，提取出相比原信号更慢的模式。碳排放是年度信号，其趋势非常平缓，我们只需提取其一个模式。

Extract different numbers of modes for each signa
提取模式：特征截断数r，取前r个特征值提取模式
LST SST 太阳黑子 碳排放 r = 1:R， R = 1 , 2 , ⋯ , 96 ，L = 144，共96种模式 r = 1:R， R = 1 , 2 , ⋯ , 12 ，L = 144，共12种模式 r = 1:R， R = 1 , 2 , ⋯ , 12 ，L = 144，共12种模式 r = R = 1，L = 3，1种模式

表2. 对各信号提取出不同数量的模式

每个信号提取的R种不同的模式构成了一个模式集XR，其上标R区别于由特定的特征截断数r得到的 X L r 。

X R = { x 1 , ⋯ , x r , ⋯ , x R }

 2.5. 用转移熵计算模式间因果关系

对两个原始气候时间序列U，V依表2分别用DMD提取模式，得Ur和Vr。用TE计算其中模式的关联，得到一个由TE值组成的矩阵 T E U → V 。

T E U → V = { T E U → V m , n | m ≤ R ( U ) , n ≤ R ( V ) }

其中 T E U → V m , n ≜ T E ( U m → V n ) ， U m ∈ U R ( U ) ， V n ∈ V R ( V ) 。

展开 T E U → V ，随着特征截断数r的增加，从左至右V的模式越来越快，从上至下U的模式越来越快。图3为展开 T E U → V 的示例：

图3. 构造转移熵矩阵的示例，任意一行或一列都是一个特定的模式，矩阵中任意元素都是在这对特定模式下的转移熵值

对于可能存在的12种因果关系(包括三种月度气候信号内部模式之间的关系，太阳黑子不作为果，因为地球上的信号显然不可能对其造成影响)，我们可以构造一个 T E U → V 组成的集合TE。按LST，SST，太阳黑子和碳排放的顺序，可以将TE表示为一个4 × 4的分块矩阵：

T E = [ T E L S T → L S T T E S S T → L S T T E s u n s p o t → L S T T E c a r b o n → L S T T E L S T → S S T T E S S T → S S T T E s u n s p o t → S S T T E c a r b o n → S S T / / T E s u n s p o t → s u n s p o t / T E L S T → c a r b o n T E S S T → c a r b o n T E s u n s p o t → c a r b o n / ]

每一对模式之间的转移熵值可以由Shannon熵H给出。

T E U → V m , n = − H ( v t + 1 | u t , v t ) + H ( v t + 1 | v t ) = − H ( v t + 1 , u t , v t ) + H ( u t , v t ) + H ( v t + 1 , v t ) − H ( v t ) = ∑ v t + 1 , u t , v t p ( v t + 1 , u t , v t ) log p ( v t + 1 | u t , v t ) p ( v t + 1 | v t )

其中 u t ∈ U m ， v t ∈ V n 。

我们以vt为例阐释基于kNN的计算概率密度的方法。设vt与其第k个最近的邻居之间的距离为Dt。vt的邻域即以它作为中心，Dt为直径的球中包含st个快照，则vt在此处的概率密度可理解为

p ( v t ) ~ s t V ( B ( v t , D t / 2 ) )

V ( B ( v t , D t / 2 ) ) 为 v t 的球形邻域的体积。

它是这个区域中概率出现st个观测量的直观表示。具体地，设pk(Dt)为某快照出现在vt邻域内的概率，p为其概率密度，则

p k ( D t ) = ∫ ‖ δ − v t ≤ D t / 2 ‖ p ( δ ) d δ

{vt}共含N = n − 1个快照(不包括t = n时刻，同理{vt+1}不包括初始时刻)，除vt自身外，剩余N − 1个快照中恰好有k个落在球内的概率可以由二项分布估计，

P k ( D t ) d D t = ( N − 1 k ) [ p k ( D t ) ] k [ 1 − p k ( D t ) ] N − k − 1 d p k ( D t )

其中Pk(Dt)为vt与其第k个最近邻之间距离的分布，它是一个对Dt的估计。Pk(Dt)dDt等价于当球直径Dt增加一个很小的单位dDt时，恰好把k个快照包含在Dt范围内的概率。两边同时乘以logpk(Dt)并在(0, ∞)上积分，显然左边的概率密度Pk(Dt)归一了，留下logpk的期望 [ 21 ] ：

E ( log p k ) = ∫ 0 ∞ P k ( D t ) log p k ( D t ) d D t = ( N − 1 k ) ∫ 0 1 p k k ( 1 − p k ) N − k − 1 log p k d p k ≈ ψ ( k ) − ψ ( N )

上式第三步的估计由Beta函数导出： ∂ x B ( x , y ) = B ( x , y ) ( ψ ( x ) − ψ ( x + y ) ) ，其中 ψ 为digamma函数，详见 [ 22 ] 。回顾概率的直观表示，pk即vt的邻域内包含的快照个数st，kNN假设它与邻域的大小Dt成正比，即vt的概率密度p与Dt无关，我们就得到了H(vt)所需的概率密度： p ( v t ) = p k ( D t ) D t d ， D t d 为无穷范数下的 D t 的体积

对于我们的向量{vt}，维数d = 1。综合以上两式，得

log p ( v t ) ≈ ψ ( k ) − ψ ( N ) − E ( log D t )

这样就得到了基于单变量最近邻距离Dt估计的H1(vt)

H 1 ( v t ) = − ∫ p ( v t ) log p ( v t ) d t ≈ − 1 N ∑ t = 1 N log p ( v t ) = ψ ( N ) − ψ ( k ) + 1 N ∑ t = 1 N log D t

在实际的计算中，我们的最近邻距离 ϵ t 的计算统一来自于三变量(vt+1, ut, vt)构成的三维空间。令 z t = [ v t + 1 , u t , v t ] T ，捕捉所有的zt，得到一个三维的时间序列Z。

Z = [ z 1 , ⋯ , z N ] = [ v 2 ⋯ v N + 1 u 1 ⋯ u N v 1 ⋯ v N ]

寻找每个快照zt在Z中最近的邻居 z t * ，得到最近邻距离 ϵ t

ϵ t = ‖ z t − z t * ‖ 2 ,   t = 1 , ⋯ , N

接下来计算H(zt)的方法与前文中计算H1(vt)同理，它由联合概率密度导出。其中第三项分子上的3表示zt的维数d = 3

H ( v t + 1 , u t , v t ) = ψ ( N ) − ψ ( k ) + 3 N ∑ t = 1 N log ϵ t

为计算H(vt)，H(ut, vt)和H(vt+1, vt)，需要分别对向量v和两个由Z分拆而来的矩阵Zuv，Zv'v进行分析，

v = [ v 1 , ⋯ , v N ] Z u v = [ u 1 , ⋯ , u N v 1 , ⋯ , v N ] Z v ′ v = [ v 2 , ⋯ , v N + 1 v 1 , ⋯ , v N ]

设vt，(ut, vt)，(vt+1, vt)在 ϵ t 内分别含 s t v ， s t u v ， s t v ′ v 个快照，对任意k，zt构造的三维空间中的 ϵ t 都会大于边缘空间v，Zuv，Zv'v中邻居的距离，st相当于计算边缘概率密度所需的最近邻个数。

s t v = # { v j | ‖ v j − v i ‖ < ϵ t / 2 } s t u v = # { ( v j , u j ) | ‖ ( v j , u j ) − ( v i , u i ) ‖ < ϵ t / 2 } s t v ′ v = # { ( v j + 1 , v j ) | ‖ ( v j + 1 , v j ) − ( v i + 1 , v i ) ‖ < ϵ t / 2 }

其中 # { ⋅ } 为元素的数量， j ≠ i 。

H(vt)，H(ut, vt)和H(vt+1, vt)如下，由边缘概率密度导出。后者通过H1(vt)中的二项分布方法， s t v ， s t u v ， s t v ′ v 作为最近邻个数来估计。 log ϵ t 的平均需要乘以当前快照的维数d = 1或2。由于 s t v ， s t u v ， s t v ′ v 只搜索除自身之外满足条件的快照，所以实际满足条件的快照数量需要各自加一。相比H(zt)中的 ψ ( k ) ，它们用 ψ ( s t + 1 ) 在所有t上的均值来代替，这相当于在逐个快照中取st+ 1个被包含在 ϵ t 球内的快照再平均化。

H ( v t ) = ψ ( N ) + 1 N ∑ t = 1 N ψ ( s t v + 1 ) − 1 N ∑ t = 1 N log ϵ t H ( u t , v t ) = ψ ( N ) + 1 N ∑ t = 1 N ψ ( s t u v + 1 ) − 2 N ∑ t = 1 N log ϵ t H ( v t + 1 , v t ) = ψ ( N ) + 1 N ∑ t = 1 N ψ ( s t v ′ v + 1 ) − 2 N ∑ t = 1 N log ϵ t

这样我们就完成了转移熵 T E U → V 的估计：

T E U → V = ψ ( k ) + 〈 ψ ( s t v + 1 ) − ψ ( s t u v + 1 ) − ψ ( s t v ′ v + 1 ) 〉

本文取k = 1计算TE值，转移熵算法来自Papana [ 13 ] 。表3为主要步骤。

Transfer entropy (TE) algorith
算法：转移熵算法
1. 嵌入至3维时间序列Z，计算最近邻距离 ϵ t 。 2. 估计联合概率密度p(vt+1, ut, vt)。 3. 拆分Z，用包含近邻的个数 s t v ， s t u v ， s t v ′ v 估计边缘概率密度。 4. 计算概率密度对应的Shannon熵，得到转移熵。

表3. 转移熵(TE)算法

图4是本文的方法流程：

图4. 基于DMD分析气候信号之间及内部模式关联强度的流程图

 3. 结果

图5展示了三种月度信号分别嵌入至多维时间序列的奇异值与主要模式对应的特征值。第一列中的奇异值按降序排列，LST的奇异值随个数的增加，占所有奇异值之比相较SST与太阳黑子更为缓慢。LST的最大奇异值贡献了60%，太阳黑子的最大奇异值贡献了65%，而SST的最大奇异值贡献了85%，这体现了SST相比其它两个月度信号噪声更小的特点。太阳黑子的最大奇异值占比与LST相似，但前者与SST一样，随着奇异值个数的增加，前几个奇异值的贡献速度上升极快。LST的奇异值直到48个才达到85%。第二列显示前几个奇异值的衰减比指数更快，随后收敛。

第三列和第四列展示了DMD方法得到的线性算子A的特征值，它们反映了对应模式的时间演化。特征值虚部决定了模式的周期(快慢程度)，实部决定了模式的趋势(衰减速度)。因此，较小虚部和正实部的特征值对应的模式体现了信号的宏观趋势；大虚部对应的模式捕捉了信号的微观行为或噪声，因为大虚部意味着快速振荡。显示了所有144个特征值(空心圆)，其中若干种主要模式对应的特征值用叉号标记。特征值基本分布在单位圆上，有极少数几个例外，相对于虚轴是对称的。特征值的实部都不大于1，即系统是稳定的；且三种信号都存在一个特征值为1对应的模式，这个模式是一种稳定的状态，因其不包含任何衰减和振荡。前R个主要的模式具有较小或零的虚部和较大的实部，体现了信号宏观上的趋势变化。最后一列我们可以看到特征值的虚部在(−0.8, 0.8)中均匀分布，这些特征值对应的模式具有分布较广的周期，没有特征周期。我们的数据都是实数，因此虚部在虚轴两侧是对称的，特征值都为共轭对。

图5. 三种月度信号的奇异值和DMD线性算子的特征值分布

The eigenvalues and periods of major modes from three monthly signal
特征值：三种信号的主要模式对应的特征值和周期
LST 主要周期 SST 主要周期 sunspot 主要周期 0.94 ± 0.08i，0.40 ± 0.86i，0.70 ± 0.50i，0.97 ± 0.10i，1.00，0.40 ± 0.89i，0.98 ± 0.04i； 1年，1个月，2个月，长期趋势，2年 0.73 ± 0.15i，0.97，1.00，0.98 ± 0.06i，0.98 ± 0.10i，0.91 ± 0.37i，0.98 ± 0.14i 6个月，长期趋势，1年，3个月 0.78，0.93 ± 0.24i，0.93，1.00，0.90 ± 0.35i，0.93 ± 0.27i，0.80 ± 0.17i，0.91 长期趋势，4个月，3个月，6个月

表4. 三种月度信号的主要模式的特征值和周期

三种月度信号的最大特征值虚部很小，且SST和太阳黑子的前少数几个最大的特征值具有较小的虚部，意味着前几个主导模式为慢模式，有着较大的周期。LST主要模式较多，表4展示了前13个特征值。贡献最大的一对共轭特征值体现了其显著的一年周期的特点：1/0.08 ≈ 12；第二对和第六对特征值的实部较小而虚部较大，反映了快速振荡占据LST很大一部分特征；第四和第七对特征值的虚部对应1年和2年左右的周期。SST的第一和第七对特征值反映了半年周期；第四和第五对特征值对应一年左右的周期；第六对特征值对应三个月左右周期。太阳黑子的前几对特征值反映了3~6个月的周期，贡献最大的特征值不包含虚部，体现了太阳黑子具有很强的趋势性。除了LST，前少数几个特征值都对应较长的周期和长期趋势，意味着当r很低时，提取出来的模式很慢；当r增大时，特征值的虚部会越来越大，意味着我们可以提取出更快的模式。图6展示了四个原始信号的几种典型的快模式和慢模式。当r接近1时，我们得到一个非常慢的模式，随着r增大，我们能够提取出包含多种尺度的模式。

图6. 几种典型的快慢模式

我们计算了各种模式之间的转移熵，它们代表着8种因果关系在不同模式之间的分布。为了确保计算出来的TE值是可信的，每种模式都被打乱并计算20次TE值，如果存在多于一个的打乱TE值大于原始顺序的TE值，则舍弃这个TE值，这等价于95%的可信度。我们在尝试中发现即使调整这个阈值或改变打乱次数，也不会对TE值在各种模式下的分布形状产生任何影响。即：不同的统计显著性不会改变TE值的分布，这体现了因果关系在不同模式之间的固有特征。图7展示了这些关联如何分布在各种模式中，表5为因果强度较大时对应的模式。总体上，关联集中于少数特征提取的慢模式，大部分模式之间不显著存在关联。由第一个特征值提取的主导模式作为因，它会对来自同一个气候对象中的其他较慢和稍快的模式产生显著影响，对其他气候对象的主导模式也有很大贡献，反过来则不成立。LST的最慢的模式约为一年周期，它对自身的一年和一两个月周期产生了显著影响，对SST的半年周期以及碳排放的长期趋势亦有很大贡献。注意到由前11~13个特征值提取的LST模式中包含了1~12个月和两年的周期，这些模式对自身的各种模式有强烈影响，但与内部其他模式和其他气候信号的模式之间关联极少，体现了LST中的快速振荡或噪声基本只影响自身的特点。SST模式中半年周期的驱动力极强，它对自身的三个月，半年，一年周期和长期趋势都有着显著影响；对LST的一年周期和碳排放亦有很大贡献。太阳黑子的最大主导模式，即长期趋势对SST的6个月以上周期有极大的贡献；前9个特征值下提取的模式仅包含长期趋势和3~4个月周期，这些模式的内部关联非常显著；其四个月周期和长期趋势对LST在一两个月和一年的尺度上有贡献，但偏弱；对碳排放的影响没有计算出任何有效的TE值。碳排放对SST的半年周期有强烈影响，对LST的一个月及一年周期有显著贡献，在其他尺度上的影响偏弱，气温对碳排放的影响也偏弱。

图7. 各种模式之间的关联强度。横轴代表因，纵轴代表果，从左到右，从上到下分别为LST，SST，太阳黑子和碳排放。右边颜色条为TE值的大小，图中白色区域表示TE值不显著或为零。横纵轴上的数字表示对某个气候对象由前若干个特征值提取的模式

Modes corresponding to causal intensity around peak value
模式对：TE(Um→Vn)较大时对应的模式，记为m→n：TE
LST→LST SST→LST Sunspot→LST Carbon→LST LST→SST SST→SST sunspot→SST carbon→SST sunspot→sunspot LST→carbon SST→carbon 2→1: 0.26, 1→2: 0.24, 12→18: 0.21, 13→18: 0.19, 2→3: 0.19, 3→4: 0.17 1→2: 0.23, 1→1: 0.21 3→5: 0.09, 3→6: 0.07, 3→4: 0.06 1→4: 0.23, 1→8: 0.07, 1→3: 0.05 1→2: 0.44, 1→1: 0.43, 1→3: 0.42, 2→1: 0.40 1→8: 0.58, 1→10: 0.49, 1→4: 0.45, 2→3: 0.45, 2→11: 0.44, 9→10: 0.43, 1→2: 0.42, 1→11: 0.41 1→9: 0.57, 1→8: 0.54, 1→10: 0.50 1→1: 0.40 7→5: 0.52, 5→7: 0.51, 9→5: 0.48 6→4: 0.47, 5→6: 0.47, 4→6: 0.46 1→1: 0.03 11→1: 0.05

表5. 因果强度在峰值附近对应的模式

我们以各个模式之间最大的TE值作为因果强度的特征，并把它们作为信息的传递写在图8的因果信息框架中。若不考虑括号内的自关联，LST的净TE流入为0.08，SST的净TE流入为1.13，太阳黑子的净TE流出为0.66，碳排放的净TE流出为0.55。总体上净TE流入和流出相等，表示由四种气候对象建立的因果信息框架达到了一种平衡。

图8. 四种气候对象建立的因果信息框架，箭头上的数字为不同气候对象的模式之间的最大TE值，括号内的数字为某个气候对象内部的模式间的最大TE值

 4. 结论

我们的方法得到了因果关系在各种模式下的分布。关联集中于少数特征提取的慢模式。最慢的模式作为因，它会对较慢和稍快的模式产生显著影响。太阳黑子内部模式之间的关联集中于长期趋势和3~4个月的周期，这些尺度对SST的各种周期和长期趋势的贡献极强，对LST在各种层面上的影响偏弱，我们推断SST对太阳黑子的响应比LST更大。碳排放对SST的半年周期具有很大影响，对LST的一年周期也有较大影响，但在更快尺度上的影响偏弱，气温反过来对碳排放的影响偏弱。LST的一年周期对SST的半年周期和碳排放有较大贡献，LST内部模式间的关联从快速振荡到长期趋势，包含多种尺度。SST的半年周期对自身，LST的一年周期和碳排放均有很大贡献。两种气温之间的关联也聚集在半年和一年周期，LST对SST的影响更大。LST，SST，太阳黑子和碳排放四个对象构成的因果框架展示了它们之间信息的传递，总体上看信息在这个框架中的流动是平衡的。在整个1850~2022的时间尺度上，SST比LST吸收了更多的信息，太阳黑子对气温的贡献略大于碳排放。

我们提出的DMD框架有着广阔的应用前景。第一，多分辨率的能力。本文将DMD应用于整体时间尺度，若切分成若干个时间段并用DMD分段处理，能够分析某一时间段上的关联，从而更深入地理解系统的演化特征。第二，多因子分析的能力。影响地球气候的其他因素如火山活动，气溶胶，其他温室气体乃至太阳系中其他的天体活动都会对气候产生不可忽视的影响 [ 12 ] [ 23 ] ，即使这些序列的记录较少，DMD仍然有着从中提取合适模式并分析因果关系的潜力。第三，多数据类型的适用性。气候或其他复杂系统不仅由时间序列反映演化行为，DMD可以应用于遥感影像等图像类型的数据 [ 24 ] 。第四，预测的潜力。通过配合控制或一些机器学习方法，DMD在最近的研究中也展现出其预测时间序列的潜力 [ 25 ] 。

 文章引用

汪荟宇. 基于动态模式分解的时间序列的因果关系分析Causal Relationship of Time Series Based on Dynamic Mode Decomposition[J]. 理论数学, 2024, 14(03): 58-73. https://doi.org/10.12677/pm.2024.143085

 参考文献 References Schmid, P.J. (2010) Dynamic Mode Decomposition of Numerical and Experimental Data. Journal of Fluid Mechanics, 656, 5-28.
https://doi.org/10.1017/S0022112010001217 Grosek, J. and Nathan Kutz, J. (2014) Dynamic Mode Decomposition for Real-Time Background/Foreground Separation in Video. Tirunagari, S., et al. (2015) Detection of Face Spoofing Using Visual Dynamics. IEEE Transactions on Information Forensics and Security, 10, 762-777.
https://doi.org/10.1109/TIFS.2015.2406533 Berger, E., et al. (2014) Dynamic Mode Decomposition for Perturbation Estimation in Human Robot Interaction. The 23rd IEEE International Symposium on Robot and Human Interactive Communication, Edinburgh, 25-29 August 2014, 593-600.
https://doi.org/10.1109/ROMAN.2014.6926317 Brunton, B.W., et al. (2016) Extracting Spatial-Temporal Coherent Patterns in Large-Scale Neural Recordings Using Dynamic Mode Decomposition. Journal of Neuroscience Methods, 258, 1-15.
https://doi.org/10.1016/j.jneumeth.2015.10.010 Tirunagari, S., Kouchaki, S., Poh, N., Bober, M. and Windridge, D. (2017) Dynamic Mode Decomposition for Univariate Time Series: Analysing Trends and Forecasting. Gray, L.J., Beer, J., Geller, M., Haigh, J.D., Lockwood, M., Matthes, K. and White, W. (2010) Solar Influences on Climate. Reviews of Geophysics, 48, RG4001.
https://doi.org/10.1029/2009RG000282 Pangburn, D. (2014) Influence of Sunspots on Global Mean Surface Temperature. Energy & Environment, 25, 1455-1471.
https://doi.org/10.1260/0958-305X.25.8.1455 Scafetta, N. (2014) Global Temperatures and Sunspot Numbers. Are They Related? Yes, but Non Linearly. A Reply to Gil-Alana et al. (2014). Physica A: Statistical Mechanics and Its Applications, 413, 329-342.
https://doi.org/10.1016/j.physa.2014.06.047 Kristoufek, L. (2017) Has Global Warming Modified the Relationship between Sunspot Numbers and Global Temperatures? Physica A: Statistical Mechanics and Its Applications, 468, 351-358.
https://doi.org/10.1016/j.physa.2016.10.089 Knuth, K.H., Gotera, A., Curry, C.T., Huyser, K.A., Wheeler, K.R. and Rossow, W.B. (2013) Revealing Relationships among Relevant Climate Variables with Information Theory. Bhaskar, A., Ramesh, D.S., Vichare, G., Koganti, T. and Gurubaran, S. (2017) Quantitative Assessment of Drivers of Recent Global Temperature Variability: An Information Theoretic Approach. Climate Dynamics, 49, 3877-3886.
https://doi.org/10.1007/s00382-017-3549-5 Papana, A., Kugiumtzis, D. and Larsson, P.G. (2012) Detection of Direct Causal Effects and Application to Epileptic Electroencephalogram Analysis. International Journal of Bifurcation and Chaos, 22, Article ID: 1250222.
https://doi.org/10.1142/S0218127412502227 Zhao, P. and Lai, L. (2022). Analysis of Knn Density Estimation. IEEE Transactions on Information Theory, 68, 7971-7995.
https://doi.org/10.1109/TIT.2022.3195870 Estimated Global Land-Surface TAVG Based on the Complete Berkeley Dataset.
https://berkeleyearth.org/data/ Kennedy, J.J., Rayner, N.A., Atkinson, C.P. and Killick, R.E. (2019) An Ensemble Data Set of Sea-Surface Temperature Change from 1850: The Met Office Hadley Centre HadSST.4.0.0.0 Data Set. Journal of Geophysical Research: Atmospheres, 124, 7719-7763.
https://doi.org/10.1029/2018JD029867 SILSO, World Data Center-Sunspot Number and Long-Term Solar Observations, Royal Observatory of Belgium, On-Line Sunspot Number Catalogue. Global Carbon Project (2022) Supplemental Data of Global Carbon Budget 2022 (Version 1.0) [Data Set]. Global Carbon Project. Tu, J.H. (2013) Dynamic Mode Decomposition: Theory and Applications. Doctoral Dissertation, Princeton University, Princeton. Kutz, J.N., Brunton, S.L., Brunton, B.W. and Proctor, J.L. (2016) Dynamic Mode Decomposition: Data-Driven Modeling of Complex Systems. Society for Industrial and Applied Mathematics, Philadelphia.
https://doi.org/10.1137/1.9781611974508 Kraskov, A., Stögbauer, H. and Grassberger, P. (2004) Estimating Mutual Information. Physical Review E, 69, Article ID: 066138.
https://doi.org/10.1103/PhysRevE.69.066138 Shi, J.F., Chen, L.N. and Aihara, K. (2022) Supplementary Information for “Embedding Entropy: A Nonlinear Measure of Dynamical Causality”. Scafetta, N. (2010) Empirical Evidence for a Celestial Origin of the Climate Oscillations and Its Implications. Journal of Atmospheric and Solar-Terrestrial Physics, 72, 951-970.
https://doi.org/10.1016/j.jastp.2010.04.015 Kutz, J.N., Fu, X. and Brunton, S.L. (2016) Multiresolution Dynamic Mode Decomposition. SIAM Journal on Applied Dynamical Systems, 15, 713-735.
https://doi.org/10.1137/15M1023543 Mansouri, A., Abolmasoumi, A.H. and Ghadimi, A.A. (2023) Weather Sensitive Short Term Load Forecasting Using Dynamic Mode Decomposition with Control. Electric Power Systems Research, 221, Article ID: 109387.
https://doi.org/10.1016/j.epsr.2023.109387
Baidu
map