利用Pycharm构建四种网络模型进行本文的实验仿真(随机网络、规则网络、无标度网络、小世界网络)。

构建好网络模型后，网络中的每个节点代表着参与博弈演化的理性个体。它们每次只能在背叛(D)或合作(C)这两种纯策略中选择其一，如式(1)的描述：

$Z_i=\left(\begin{array}{c}1\\ 0\end{array}\right)$或 $Z_i=\left(\begin{array}{c}0\\ 1\end{array}\right)$(1)

本文的演化博弈模型采用Nowak与May在1992年提出的弱囚徒困境博弈模型 [20] ，并利用该文献中的参数设置来简化模型，令囚徒困境博弈模型中的参数 $R=1$， $P=S=0$，对合作者的背叛的诱惑 $T=b\left(1\le b\le 2\right)$。博弈收益矩阵定义如公式(2)：

$M=\left(\begin{array}{cc}R& S\\ T& P\end{array}\right)=\left(\begin{array}{cc}1& 0\\ b& 0\end{array}\right)$(2)

在每轮迭代中，参与者与其相邻的节点进行一轮囚徒困境游戏，其中个体的收益总和会受到收益矩阵的影响。具体而言，一个个体获得的总收益是通过与其所有邻居的互动后累积得到的，如公式(3)所示：

$R_i={\displaystyle \underset{y\in {\Omega }_i}{\sum }{Z}_i^{\text{T}}M{Z}_j}$(3)

${\Omega }_i$表示个体i的所有邻居集合，j为i的一个邻居。M表示收益矩阵。

在传统的囚徒困境模型中，参与者倾向于模仿上一次交互中获取最大收益的邻居策略，以此来提升自己未来的收益。但随着对信息隐私重视程度的提高，直接获取邻居的具体收益数据变得越来越困难，因此参与者需要依赖自身累积的经验，通过持续学习优化自己的策略选择。鉴于此，本文提出了一种基于SARSA算法的演化博弈PDG模型。

SARSA算法是一种通过不断积累探索经验来提升决策能力的方法，无需建立环境模型并且可被在线使用。通过学习最优策略来处理不确定性信息和采取最佳动作来最大化累计奖励。该算法的这一特性非常适用于不完全信息博弈。

在SARSA算法中， $S=\left\{s_1,s_2,\cdots ,s_m\right\}$表示状态集合， $A=\left\{a_1,a_2,\cdots ,a_m\right\}$表示动作集合。在初始演化博

弈阶段，理性个体都以1/2的概率随机地选择背叛或合作。在后续演化过程中的任意时刻t，智能体通过

感知当前环境状态 $s_t\in S$，根据动作策略选择执行动作 $a_t\in A$到达下一状态 $s_{t+1}\in S$，同时获得奖励 $r_{t+1}$，然后基于 $Q\left(s_t,a_t\right)$更新Q表及优化策略，由此每个个体来进行下一轮的策略选择。更新公式为：

$Q\left(s_t,a_t\right)\leftarrow Q\left(s_t,a_t\right)+\alpha \left[r_{t+1}+\gamma Q\left(s_{t+1},a_{t+1}\right)-Q\left(s_t,a_t\right)\right]$(4)

式中的 $Q\left(s_t,a_t\right)$表示在状态 $s_t$选择动作 $a_t$的Q值； $Q\left(s_{t+1},a_{t+1}\right)$表示在下一个状态 $s_{t+1}$时选择下一步动作 $a_{t+1}$并执行的Q值，即下一步的策略； $\alpha \in (0,1]$表示个体的学习率，控制着每轮游戏更新新信息时对旧Q值的影响权重； $\gamma$表示折扣因子，是表示未来奖励重要性的参数； $r_{t+1}$代表个体在状态 $s_t$执行动作 $a_t$后从环境中获得的即时奖励，由公式(5)给出：

$r_{t+1}={\left(R_i/n\right)}^{\theta }$(5)

$R_i$表示个体i的收益总和，n表示个体i的邻居数量， $\theta \in \left(0,1\right]$用来调节个体收益均匀性。

ε-greedy决策机制是SARSA算法基础的策略选择机制，它以一定的概率ε选择随机动作，以便探索环境(算法流程图见 表1 )。使用ε-greedy决策机制的SARSA算法(记为ES)，按照公式(4)，算法会生成状态–动作对的Q表，智能体在状态 $s_t$时依照Q表基于ε-greedy决策机制以 $1-\epsilon$的概率选择最优动作并执行，如下式所示：

$a^{\ast }=\underset{a}{\arg \max }Q\left(s_t,a_t\right)$(6)

$\underset{a}{\arg \max }Q\left(s_t,a_t\right)$表示状态 $s_t$中具有最大Q值的动作，每轮游戏结束后， $Q\left(s_t,a_t\right)$替换成 $Q\left(s_{t+1},a_{t+1}\right)$。

与ε-greedy不同的是Boltzmann决策机制有一个平滑的概率分布，允许更好地控制探索与利用之间的平衡，算法流程见 表2 。使用Boltzmann决策机制作为SARSA算法的动作选择机制(记为BS)，它在每个时间步以概率P选择使自己收益最大的策略，P的计算方法如下：

$P=\frac{{\text{e}}^{Q\left(s,a\right)/\lambda }}{{\displaystyle {\sum }_{a\in A}{\text{e}}^{Q\left(s,a\right)/\lambda /\nabla }}}$(7)

其中，

$\lambda =5\times {0.9999}^t$(8)

t是博弈的次数，λ是重复博弈次数t的函数。对每个动作a，计算一个概率分数，其与该动作的价值相关。然后，使用Softmax函数将这些分数转化为概率分布P，其中参数t控制了探索的程度，t越大，智能体决策的随机性越大。概率高的动作更有可能被选择，但仍有一定概率选择其他动作。Boltzmann决策机制结合SARSA算法具有自适应学习的能力。

使用Max-plus决策机制作为SARSA算法的动作选择机制(记为MS)。Max-plus决策机制通过选择具有最高预期回报的动作来最大化价值函数。其在每个时间步骤中，根据当前状态的价值函数，考虑到个体的全局属性，使个体能够在没有全局信息的情况下找到全局最优解，具体算法流程见 表3 。该机制使两个相邻个体i和j根据局部最优动作 $u_i^j$ 来更新策略。定义智能体i给邻居智能体j发送的消息为一个局部奖励函数，如式(9)：

$u_i^j\left(a_j\right)=\underset{a_i}{\max }\left\{f_i^j\left(a_i,a_j\right)+{\displaystyle \underset{k\in r\left(i\right)/j}{\sum }{u}_{k_i}\left(a_i\right)-c_i^j}\right\}$(9)

$u_{k_i}$是邻居j发送给i的信息； $r\left(i\right)/j$表示除个体j以外的i的其他所有邻居给其发的信息集合； $f_i^j$表示个体i最优动作的值函数，如公式(10)：

$f_i^j=Q\left(s_i+a_i\right)+Q\left(s_j+a_j\right)$(10)

$c_i^j$表示网络中所有个体传出信息的平均值，如公式(11)：

$c_i^j=\frac{1}{\left|A_j\right|}{\displaystyle \underset{a_j}{\sum }{u}_i^j\left(a_i^j\right)}$(11)

i的最优动作决策如式(12)：

$a_{\max }=\underset{a_i}{\arg \max }{\displaystyle \underset{j\in k\in r\left(i\right)}{\sum }{u}_j^i}\left(a_i\right)$(12)

动态系统在1000个仿真步长后达到稳定状态，取稳定状态下的100次数据的平均值作为网络合作水平。总体上，引入强化学习能显著提升网络的整体合作水平，并且相对较快地达到一个稳定的合作状态，合作水平的波动范围较小且维持在一个较稳定的区间内。

图1. 不同ε值下的合作水平(a) $\epsilon =0.04$(b) $\epsilon =0.8$

由 图1 可知，在复杂网络上的演化博弈中，引入强化学习算法后，无论哪种决策机制，均能提高复杂网络上个体间的合作水平。其中，ES-PDG是四种机制中实验效果最好的决策机制。ES-PDG的合作比例 $f_c$几乎立刻就达到很高的水平，并且几乎在整个时间段内保持在0.9以上，这显示了一个高度稳定的合作状态。这是因为，较低的ε值能促使网络更快地达到稳定状态，较小的ε减小了策略选择的随机性，使得智能体有更大的可能性探索到最优策略，减短了网络达到稳定状态的时间。相反，较高的ε值使智能体表现出更强的“短视”，减少了对策略的深入探索，增加了达到稳定状态所需时间。传统的博弈(PDG)从较低的合作比例开始，并且随着时间的推移，合作比例持续下降，最终趋近于零，这表明在没有强化学习决策机制的情况下，自私或背叛策略占主导地位。当 $\epsilon =0.04$时，使用ES算法的博弈网络(ES-PDG)在三种算法中合作水平最高。其次是使用BS算法的博弈网络(BS-PDG)和使用MS算法的博弈网络(MS-PDG)，传统的囚徒困境博弈网络(PDG)合作水平最低。当ε值增大时，三种强化学习算法间的差异明显缩小，合作水平值在 $\epsilon =0.8$时几乎相同，但也高于传统博弈模型。

图2. 四种网络结构下的合作水平(a) BA网络；(b) ER网络；(c) RG网络；(d) WS网络

实验结果如 图2 所示，无论在哪种拓扑结构上进行博弈演化，引入强化学习算法能够提高网络群体的合作者密度。实验使用了ES-PDG、BS-PDG和MS-PDG三种强化学习算法与传统的PDG进行对比仿真模拟。在不同的网络拓扑结构上引入不同的强化学习算法后均能提高网络的整体合作水平。其中，ES-PDG的合作水平最高，BS-PDG和MS-PDG次之，最后是传统PDG。在 图2(a) 、 图2(c) 和 图2(d) 中，MS-PDG模型的效果一直优于BS-PDG模型，但是 图2(b) 中，情况却反过来了。这是因为ER随机网络在节点之间会通过一定的概率P进行断边重连，Boltzmann决策机制有一个平滑的概率分布，在每个时间步以概率P选择使自己收益最大的策略，在网络断边重连的过程中，能增加使用Boltzmann决策机制个体间的合作概率，算法效果也超越Max-plus决策机制。此时，相较其他网络结构，在BA网络中的Boltzmann决策机制的效果优于其他三种网络。

即使是在异质性网络的背景下，使用了强化学习决策机制的算法依然可以很明显地提高整个网络的合作水平。因此，我们可以得出一个结论：这三种决策机制具有很好的鲁棒性，无论是何种网络拓扑结构，它都能够很显著地促进合作。

参数b的大小直接影响个体的收益情况。对于不同的b，实验使用三种决策机制的SARSA算法与传统的博弈网络进行对比。由 图3 可知，随着b的增加，ES-PDG、BS-PDG和MS-PDG算法的合作水平随之增加且呈上下波动的变化趋势。其中，ES-PDG的波动幅度明显大于另外两种算法。而传统PDG的合作水平在短时间内随b的增加骤降到0，这说明强化学习算法的引入可以增加网络博弈中合作现象的产生和维持，对于背叛的诱惑具有更强的抵御能力。当博弈研究中使用的是传统的演化博弈模型时，如果想要合作团簇更好地的形成，最好将参数b的范围设置在1.1以下才会有比较理想的实验效果；在强化学习算法中，不同的决策机制最佳策略选择对应b的取值也不同。ε-greedy决策机制中，将参数b设置为1.2；Boltzmann决策机制里，设置 $b=1.5$；Max-plus决策机制中，令 $b=1.9$。

文献 [21] 研究了基于收益与愿望差异的策略与愿望调整意愿的协同演化以及外部环境的变化对空间囚徒困境博弈中合作演化的影响。结果表明，愿望持续时间对合作的增强作用在不同的背叛诱惑值b范围内是不同的。当b小于一定值时，存在一个可以促进合作的适当的愿望持续时间。此外，当b大于T-max (最大愿望持续时间)时，合作随着T-max的增加而逐渐增强，但增强效果有限。而本文在使用强化学习算法控制节点的策略行为后，无论背叛的诱惑值b的大小，群体合作水平仍能维持在稳定区间。

α表示个体的学习率，控制每次更新的权重，决定了新信息对旧Q值的影响程度。如 图4 所示，三种强化学习算法在不同的α值下的合作水平变化趋势大致相同，α位于中间值时，三种算法的合作水平大致一样且处于较好水平。MS-PDG对于不同的α取值的合作水平较其他两种算法更为敏感，变化幅度较大。ES-PDG和BS-PDG随α的变化，合作水平在0.6~0.7之间上下波动，较为稳定。在ES-PDG中，当 $\alpha =0.8$时，合作水平 $f_c$随b的增加而明显下降；三种决策机制对于不同的α取值在网络上的合作率变化趋势整体相似：学习率越低，网络合作水平 $f_c$越高。这是因为，低学习率使群体已经建立的合作关系更为稳定，个体不会因为一次背叛行为交互就迅速改变策略。在低学习率下，网络合作水平在b的较大范围内保持稳定。随着学习率的增加，合作水平对b的敏感性增加，尤其是当b较高时，这是因为当背叛的诱惑增加时，具有高学习率的个体更容易放弃合作策略。因此，在使用强化学习算法研究网络博弈时，为了提高网络合作水平，应设置较低的α值。

图4. 不同α值下的网络合作水平(a) ES-PDG，(b )BS-PDG，(c) MS-PDG

γ是确定个体在博弈中未来奖励重要性的折扣因子，控制在更新过程中考虑未来奖励的程度；由 图5 可以看出，网络合作水平 $f_c$随折扣率γ的增加而越来越高。ES-PDG和BS-PDG的变化趋势最明显，MS-PDG的变化趋势最弱。当 $\gamma =0.2$时，个体严重折扣未来奖励值，偏爱即时收益。这可能导致群体较低的合作水平，因为个体不太关心自己行为的未来后果，使个体更倾向于为短期的利益而选择背叛策略；当 $\gamma =0.4$时，这时博弈者对未来奖励有了适度的评估考虑，此时，部分个体有一定的可能性会维持合作行为。但是，随着参数b的增大，即使个体在某种程度上重视未来奖励，如果即时回报足够诱人，他们可能仍然会选择背叛；当 $\gamma =0.8$时，博弈个体此刻很重视未来的奖励，因为他们考虑到长期的利益，个体间合作可能性进一步增大，这会导致群体更高合作水平的产生。即使随着背叛的诱惑b值的增大，合作水平 $f_c$仍能维持在较高水平，这表明较高的γ值能抵御背叛的诱惑。

图5. 不同γ值下的网络合作水平(a) ES-PDG，(b) BS-PDG，(c) MS-PDG

图6 表示随变量b 和θ这两个参数同时变化时的合作水平 $f_c$的变化情况。b是调节博弈收益矩阵中收益异质性的参数， $\theta \in \left(0,1\right]$表示强化学习算法中调节个体收益均匀性的强化学习参数。从 图6 可以看出，引入强化学习算法后，无论使用何种策略选择机制，整体上都能提高网络节点的合作水平。其中在SARSA算法中引入ε-greedy决策机制对于网络合作水平的提升最为显著，能明显促进个体间的合作。Boltzmann决策机制效果优于Max-plus决策机制。随着b的变化，θ的值处于中间水平时( $\theta =0.5$)对应的网络合作水平最高。当 $b\in \left[1,1.2\right]$区间时，θ取中间值时的网络合作水平也高于其他取值情况。所以，适当地调节网络中个体间的收益均匀性可以有效地促进个体的合作，避免过高或者过低的θ取值。由此，我们可以知道在不同的决策机制中，最佳的 $\left(b,\theta \right)$ 对取值区间：在ES-PDG中，参数b可取任意值，θ取值为0.5；在BS-PDG中，取 $b\in \left[1.4,1.5\right]$， $\theta =0.5$；在MS-PDG中，取 $b=1.2$， $\theta =0.56$。

文献 [22] 在空间囚徒困境博弈中新引入了一种基于收益差异的通用概率奖励函数，其机制是每个玩家的收益差异性越大，无论对手的策略如何，给予对手奖励的概率就越高。该文章设计的奖励给予方式实现了合作的演化，尤其是在相对稀疏的规则网络和无标度网络中，也显着提高了合作者比例和所有玩家的平均收益。而在本文的研究中，我们将SARSA算法的决策机制引入到网络演化博弈中作为个体的策略更新方式，网络整体的合作水平与个体收益的异质性并不成正相关关系，调整个体收益均匀性至中等水平对群体合作行为的促进作用最为显著。

图6. 收益异质性对网络合作水平的影响(a) ES-PDG，(b) BS-PDG，(c) MS-PDG

由 图7 可以观察到ES-PDG的平均收益最高，BS-PDG和MS-PDG的平均收益次之。这意味着，当ε较小时，智能体倾向于利用已知的最优策略。当ε较大时，ES-PDG算法的平均收益下降。这表示在较高探索率下，即使是ES-PDG也在尝试新的、可能不太合作的策略，导致了整体收益水平的下降。MS-PDG算法因为其具有考虑全局属性的特性，能够做出基于全局考虑的最优策略选择。因此，在演化博弈的后期，超越ES-PDG算法，成为平均收益最高的强化学习决策机制算法。由此可以得出，不同的决策机制对探索率的敏感度不同。在较低的探索率时，可以使用ES-PDG算法促进网络维持较高的平均收益。在较高的探索率时，个体策略行为更加多变，应该考虑更多地使用具有全局属性特性的Max-plus决策机制来帮助个体做出最优策略选择。

图7. 三种决策机制下的平均收益(a) $\epsilon =0.04$，(b) $\epsilon =0.8$