1. 引言

随着金融市场的复杂性和不确定性不断增加，保险公司在再保险和投资策略优化方面受到越来越大的挑战。强化学习(Reinforcement Learning, RL)作为一种数据驱动的优化方法，逐渐在金融领域得到了广泛关注[1]。近年来，强化学习已被成功地应用于解决各种复杂的决策问题。它不仅可以解决离散时间的优化问题，也可以解决连续时间的优化问题。例如，Wang和Zhou等人[2]在RL框架下研究了连续时间和空间中的探索性随机控制问题，Jia和Zhou等人[3]在演员–评论家RL框架下研究了连续时间和空间中的政策梯度(PG)。此外，Zhou等人[4]提出了一种基于Actor-Critic的数值方法，用于求解高维Hamilton-Jacobi-Bellman (HJB)方程，通过学习确定性策略和策略梯度，显著提升了样本利用率并优化了控制效果。

在再保险和投资策略优化领域，强化学习的应用展现出巨大潜力。通过与环境的实时交互，Actor-Critic算法能够动态学习最优的再保险比例和投资策略，从而实现风险与收益的平衡。Jin等人[5]提出了一种混合强化学习框架，将再保险决策与投资组合优化相结合，显著提升了保险公司的风险调整收益。Li等人[6]则在随机波动和市场切换环境下，利用强化学习和马尔可夫链切换模型，优化了再保险和投资策略，以最小化破产概率。受到这些研究的启发，我们构建了一个基于Actor-Critic算法的再保险与投资模型，将最优比例再保险和投资问题建模为马尔可夫决策过程(Markov Decision Process, MDP)，并设计了相应的状态空间、动作空间和奖励函数。本文旨在填补现有研究的空白，提出一种基于Actor-Critic强化学习框架的最优再保险与投资问题，以解决保险公司在有限时间范围内的累计财富效用最大化问题。

本章的概述如下，第2节介绍了一个金融和保险市场模型及其优化问题，其中我们假设环境因素只影响保险业务，状态切换只影响金融市场，灾难性索赔与风险资产价格之间受到共同冲击。第3节利用Actor-Critic强化学习方法建立适当的数值近似算法并解决随机优化控制问题。第4节给出了一个数值例子。

2. 模型与优化问题

基于对再保险和投资现状的深入研究，我们构建了一家保险公司涵盖两条业务线的模型。设 $\left(\Omega ,ℱ,\mathbb{F},\mathbb{P}\right)$ 为滤波概率空间，其中滤波 $\mathbb{F}={\left\{{ℱ}_t\right\}}_{t\ge 0}$ 满足通常条件。

2.1. 财富过程

在保险市场中，我们假设保险公司的盈余过程满足以下方程：

$\text{d}{R}_t^{\left(k\right),u_t^{\left(k\right)}}=\left[c^{\left(k\right)}\left(t,Y_t^{\left(k\right)}\right)-q^{\left(k\right)}\left(t,Y_t^{\left(k\right)},u_t^{\left(k\right)}\right)\right]\text{d}t-{\displaystyle {\int }_0^{+\infty }z{u}_t^{\left(k\right)}{m}^{\left(k\right)}}\left(\text{d}t,\text{d}z\right).$

其中 $R_t^{\left(k\right),u_t^{\left(k\right)}},k=1,2,t\in \left[0,+\infty \right)$ ，表示保险公司在两条业务线下的盈余过程， $u_t^{\left(k\right)}$ 为t时刻保险公司购买再保险时的自留比， $c^{\left(k\right)}\left(t,Y_t^{\left(k\right)}\right)$ 表示保险保费， $q^{\left(k\right)}\left(t,Y_t^{\left(k\right)},u_t^{\left(k\right)}\right)$ 表示再保险保费。

累计索赔过程 $S=\left\{S_t,t\in \left[0,\infty \right)\right\}$ 定义为：

$S_t=S_t^{\left(1\right)}+S_t^{\left(2\right)}={\displaystyle \underset{n=1}{\overset{N_t^{\left(1\right)}}{\sum }}{Z}_n^{(1)}}+{\displaystyle \underset{n=1}{\overset{N_t^{\left(2\right)}}{\sum }}{Z}_n^{\left(2\right)}}.$

其中， $S_t^{\left(1\right)}$ 和 $S_t^{\left(2\right)}$ 分别表示保险公司在 $\left[0,t\right]$ 内两条业务线(普通理赔和灾难性理赔)的累计索赔规模，

${\left\{N_t^{\left(1\right)}\right\}}_{t\ge 0}$ 和 ${\left\{N_t^{\left(2\right)}\right\}}_{t\ge 0}$ 分别表示两条业务线的独立计数过程， $\left\{Z_n^{\left(k\right)},n\ge 1\right\},k=1,2$ 表示保险公司的第n个索赔金额，是正独立同分布随机变量的序列。

随机因 $Y_t^{\left(k\right)}$ 子满足以下方程：

$\text{d}{Y}_t^{\left(k\right)}=b^{\left(k\right)}\left(t\right)\text{d}t+a^{\left(k\right)}\left(t\right)\text{d}{W}_t^{\left(k\right)},Y_0^{\left(k\right)}=y^{\left(k\right)}\in ℝ,k=1,2.$

其中 $W_t^{\left(1\right)}$ 和 $W_t^{\left(2\right)}$ 是相互独立的布朗运动， $a^{\left(k\right)}\left(t\right),b^{\left(k\right)}\left(t\right)\in ℝ$ 是可测函数。设 $m^{\left(k\right)}\left(\text{d}t,\text{d}z\right)$ 代表与 $S_t^{\left(k\right)}$ 相关联的随机计数测度。且满足如下关系：

$m^{\left(k\right)}\left(\text{d}t,\text{d}z\right)={\displaystyle \underset{\text{n}\in \mathbb{N}}{\sum }{\hat{\delta }}_{\left\{{\nu }_n^{\left(k\right)},Z_n^{\left(k\right)}\right\}}}\left(\text{d}t,\text{d}z\right){\text{I}}_{\left\{{\nu }_n^{\left(k\right)}<+\infty \right\}}$，

对于 $k=1,2$ ，其中 ${\hat{\delta }}_{\left\{t,z\right\}}$ 表示在点 $\left(t,z\right)$ 处的Dirac测度， ${\nu }_n^{\left(k\right)}$ 表示索赔到达时间(即 ${\left\{N_t^{\left(k\right)}\right\}}_{t\ge 0}$ 的跳跃时间)，z是索赔大小并且具有 $F^{\left(k\right)}\left(z\right):ℝ\to \left(0,1\right)$ 的分布。

引理2.1 假设 $N_t^{\left(k\right)},k=1,2$ ，是由随机强度 ${\lambda }^{\left(k\right)}\left(t,Y_t^{\left(k\right)}\right):\left[0,+\infty \right)\times ℝ\to \left(0,+\infty \right)$ 表示的计数过程， $Y_t^{\left(k\right)}$ 表示影响索赔到达强度的环境因素，并将测度 $m^{\left(k\right)}\left(\text{d}t,\text{d}z\right)$ 的对偶可预测投影定义如下：

$v^{\left(k\right)}\left(\text{d}t,\text{d}z\right)={\lambda }^{\left(k\right)}\left(t,Y_t^{\left(k\right)}\right)F^{\left(k\right)}\left(\text{d}z\right)\text{d}t.$

证明：请参见文献[7]。

在金融市场中，我们假设保险公司将部分盈余投资风险资产，其价格遵循如下几何布朗运动过程：

$\text{d}{P}_t=P_t\left[\mu \left(\alpha \left(t\right)\right)\text{d}t+\sigma \left(\alpha \left(t\right)\right)\text{d}W\left(t\right)-{\displaystyle {\int }_0^{+\infty }K\left(t,z\right)m^{\left(2\right)}\left(\text{d}t,\text{d}z\right)}\right].$

其中 ${\left\{P_t\right\}}_{t\ge 0}$ 表示风险资产的价格，对于每一个 $i\in M$ ， $\mu \left(\alpha \left(t\right)\right)\in ℝ$ 是风险资产的收益率， $\sigma \left(\alpha \left(t\right)\right)\in \left(0,+\infty \right)$ 是风险资产的波动率， $K\left(t,z\right):\left[0,+\infty \right)\times \left[0,+\infty \right)\to \left[0,1\right)$ 表示风险资产的跳跃规模 ${\left\{W_t\right\}}_{t\ge 0}$ 是标准几何布朗运动。在有限空间 $ℳ=\left\{1,\cdots ,m\right\}$ 中，连续时间马尔可夫链 $\alpha \left(t\right)$ 是时间t的随机市场。这里 $\alpha \left(t\right)$ 表示经历风险资产过程马尔可夫状态切换的市场状态，由 $Q=\left(q_{ij}\right)\in {ℝ}^{m\times m}$ 生成。符号表示如下：

$P\left\{\alpha \left(t+\delta \right)=j|\alpha \left(t\right)=i,\alpha \left(s\right),s\le t\right\}=\{\begin{array}{ll}{q}_{ij}\delta +o\left(\delta \right),\hfill & \text{if}j\ne i\hfill \\ 1+q_{ii}\delta +o\left(\delta \right),\hfill & \text{if}j=i\hfill \end{array}$

此外，假设保险公司还将盈余投资于无风险资产，其价格满足以下随机微分方程：

$\text{d}{B}_t=r\left(t\right)B_t\text{d}t.$

其中 ${\left\{B_t\right\}}_{t\ge 0}$ 表示无风险资产价格， $r\left(t\right)$ 为无风险资产利率。

设 ${\pi }_t\in {ℝ}^{+}$ 表示投资于风险资产的盈余总额，即不允许卖空。建立财富过程：

$\text{d}{X}_t^{\xi }=\text{d}{R}_t^{\left(1\right),u^{\left(1\right)}}+\text{d}{R}_t^{\left(2\right),u^{\left(2\right)}}+{\pi }_t\frac{\text{d}{P}_t}{P_t}+\left(X_t^{\xi }-{\pi }_t\right)\frac{\text{d}{B}_t}{B_t},X_0^{\xi }=x\in {ℝ}^{+},$

其中， $\xi ={\left\{{\xi }_t=\left(u_t^{\left(1\right)},u_t^{\left(2\right)},{\pi }_t\right)\right\}}_{t\ge 0}$ 是再保险与投资策略。代入化简后，保险公司的财富过程如下：

$\begin{array}{c}\text{d}{X}_t^{\xi }=\left[c^{\left(1\right)}\left(t,Y_t^{\left(1\right)}\right)+c^{\left(2\right)}\left(t,Y_t^{\left(2\right)}\right)-q^{\left(1\right)}\left(t,Y_t^{\left(1\right)},u_t^{\left(1\right)}\right)-q^{\left(2\right)}\left(t,Y_t^{\left(2\right)},u_t^{\left(2\right)}\right)+{\pi }_t\left(\mu \left(\alpha \left(t\right)\right)-r\left(t\right)\right)+X_t^{\xi }r\left(t\right)\right]\text{d}t\\ +\sigma \left(\alpha \left(t\right)\right){\pi }_t\text{d}W\left(t\right)-{\displaystyle {\int }_0^{+\infty }z{u}_t^{\left(1\right)}{m}^{\left(1\right)}\left(\text{d}t,\text{d}z\right)}-{\displaystyle {\int }_0^{+\infty }\left(z{u}_t^{\left(2\right)}+{\pi }_{t}K\left(t,z\right)\right)m^{\left(2\right)}}\left(\text{d}t,\text{d}z\right).\end{array}$

2.2. 优化目标

下面我们介绍了随机最优控制问题。保险公司的目标是使其财富的期望累积效用最大化，即最大化以下优化问题

$J\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i,\xi \right)=E_{s,x,y^{\left(1\right)},y^{\left(2\right)},i}\left[{\displaystyle {\int }_s^T{\text{e}}^{-\rho \left(t-s\right)}U\left(X_t^{\xi }\right)\text{d}t}+h\left(X_T^{\xi }\right)\right],$

其中， $U\left(x\right)=1-{\text{e}}^{-\gamma x}$ 表示保险公司的指数偏好， $h\left(x\right)$ 代表终端函数， $\rho$ 代表贴现系数， $\gamma$ 为保险公司的相对风险厌恶系数，s为初始时间， $s\in \left[0,\infty \right)$ ，T为保险合同终止时间。

定义可容许控制集 ${\pi }_t\in {ℝ}^{+}$ ，最优控制问题的值函数定义为：

$V\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i\right)=\underset{\xi \in \Xi }{\sup }J\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i,\xi \right).$

由动态规划原理和伊藤公式，得出相应的HJB方程如下：

$\begin{array}{c}0=V_s+\underset{\xi \in U}{\sup }\{(c^{\left(1\right)}\left(s,y^{\left(1\right)}\right)+c^{\left(2\right)}\left(s,y^{\left(2\right)}\right)-q^{\left(1\right)}\left(s,y^{\left(1\right)},u^{\left(1\right)}\right)-q^{\left(2\right)}\left(s,y^{\left(2\right)},u^{\left(2\right)}\right)\\ +\pi \left(\mu \left(i\right)-r\left(s\right)\right)+xr\left(s\right))V_x+b^{\left(1\right)}\left(s\right)V_{y^{\left(1\right)}}+b^{\left(2\right)}\left(s\right)V_{y^{\left(2\right)}}+\frac{1}{2}\sigma {\left(i\right)}^2{\pi }^2{V}_{x^2}\\ +\frac{1}{2}{\left(a^{\left(1\right)}\right)}^2\left(s\right)V_{y^{{\left(1\right)}^2}}+\frac{1}{2}{\left(a^{\left(2\right)}\right)}^2\left(s\right)V_{y^{{\left(2\right)}^2}}+{\displaystyle \underset{j\ne i}{\sum }{q}_{ij}}\left(V\left(s,x,y^{\left(1\right)},y^{\left(2\right)},j\right)-V\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i\right)\right)\\ +{\displaystyle {\int }_0^x\left(V\left(s,x-z{u}^{\left(1\right)},y^{\left(1\right)},y^{\left(2\right)},i\right)-V\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i\right)\right){\lambda }^{\left(1\right)}\left(s,y^{\left(1\right)}\right)F^{\left(1\right)}\left(\text{d}z\right)}\\ +{\displaystyle {\int }_0^x\left(V\left(s,x-z{u}^{\left(2\right)}-\pi K\left(\alpha \left(s\right),z\right),y^{\left(1\right)},y^{\left(2\right)},i\right)-V\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i\right)\right){\lambda }^{\left(2\right)}\left(s,y^{\left(2\right)}\right)F^{\left(2\right)}\left(\text{d}z\right)}\\ -\rho V\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i\right)+U\left(x\right)\},\end{array}$

其中 $V_{ℐ}=\frac{\partial V\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i\right)}{\partial ℐ}$ 和 $V_{{ℐ}^2}=\frac{{\partial }^{2}V\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i\right)}{\partial {ℐ}^2}$ ， $ℐ=s,x,y^{\left(1\right)},y^{\left(2\right)}$ 。

通常，如果V足够光滑，我们可以用动态规划原理将其描述为HJB方程的解。然而，上述HJB方程的显式解不容易获得，因此我们采用数值求解方法。

3. 数值算法

基于强化学习中的演员–评论家(Actor-Critic)框架，可以同时求解价值函数和策略函数，针对评论家的策略评估(Policy Evaluation, PE)和针对演员的策略迭代(Policy Iteration, PI)。目前，在Actor-Critic框架下已经开发了许多算法，例如文献[8] [9]。

3.1. 策略评估

在本节中，我们开发相应的PE程序，并使用函数逼近方法来获得价值函数的估计。现在让我们将连续设置中的TD误差定义为：

$\begin{array}{c}T{D}^{\xi }={\displaystyle {\int }_s^T{\text{e}}^{-\rho \left(t-s\right)}U\left(X_t^{\xi }\right)\text{d}t}+{\text{e}}^{-\rho \left(T-s\right)}{V}^{\xi }\left(T,x_T,y_T^{\left(1\right)},y_T^{\left(2\right)},{\alpha }_T\right)\\ -{\displaystyle {\int }_s^T{\text{e}}^{-\rho \left(t-s\right)}}{V}_x^{\xi }\sigma \left(\alpha \left(t\right)\right){\pi }_t\text{d}{W}_t-{\displaystyle {\int }_s^T{\text{e}}^{-\rho \left(t-s\right)}}{V}_{y^{\left(1\right)}}^{\xi }{a}^{\left(1\right)}\left(t\right)\text{d}{W}_t^{\left(1\right)}\\ -{\displaystyle {\int }_s^T{\text{e}}^{-\rho \left(t-s\right)}}{V}_{y^{\left(2\right)}}^{\xi }{a}^{\left(2\right)}\left(t\right)\text{d}{W}_t^{\left(2\right)}-V^{\xi }\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i\right).\end{array}$

我们进一步为评论家定义以下损失函数：

$\begin{array}{c}L\left({\theta }_V,{\theta }_G\right)=E_{s,z,i}\left[\frac{1}{2}{\left(T{D}^{\xi }\right)}^2\right]\\ =E_{s,z,i}[\frac{1}{2}({\displaystyle {\int }_s^T{\text{e}}^{-\rho \left(t-s\right)}U\left(X_t^{\xi }\right)\text{d}t}+{\text{e}}^{-\rho \left(\tau -s\right)}{V}^{\xi }\left(\tau ,x,y^{\left(1\right)},y^{\left(2\right)},i;{\theta }_V\right)\\ -{\displaystyle {\int }_s^T{\text{e}}^{-\rho \left(t-s\right)}}{V}_x^{\xi }\left(t,x,y^{\left(1\right)},y^{\left(2\right)},i;{\theta }_G\right)\sigma \left(\alpha \left(t\right)\right){\pi }_t\text{d}{W}_t\\ -{\displaystyle {\int }_s^T{\text{e}}^{-\rho \left(t-s\right)}}{V}_{y^{\left(1\right)}}^{\xi }\left(t,x,y^{\left(1\right)},y^{(2)},i;{\theta }_G\right)a^{\left(1\right)}\left(t\right)\text{d}{W}_t^{\left(1\right)}\\ -{\displaystyle {\int }_s^T{\text{e}}^{-\rho \left(t-s\right)}}{V}_{y^{\left(2\right)}}^{\xi }\left(t,x,y^{\left(1\right)},y^{\left(2\right)},i;{\theta }_G\right)a^{\left(2\right)}\left(t\right)\text{d}{W}_t^{\left(2\right)}-{V^{\xi }\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i;{\theta }_V\right))}^2].\end{array}$

3.2. 策略梯度

在本小节中，我们介绍演员部分，并使用策略梯度来改进演员的策略。回忆我们的最优控制问题并利用动态规划原理，对于最优值函数V，我们有

$V\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i\right)=\underset{\xi \in \Xi }{\sup }{E}_{s,x,y^{\left(1\right)},y^{\left(2\right)},i,\xi }\left[{\displaystyle {\int }_s^T{\text{e}}^{-\rho \left(t-s\right)}U\left(X_t^{\xi }\right)\text{d}t}+{\text{e}}^{-\rho \left(T-s\right)}V\left(T,x_T,y_T^{\left(1\right)},y_T^{\left(2\right)},{\alpha }_T\right)\right].$

其中， $\xi$ 是最优控制，即控制 $\xi$ 应该最大化右侧的功能函数。定义 $\tau =\inf \left\{t\ge 0,X\left(t\right)<0\right\}$ 为破产时间，考虑停止时间 $\tau$ ，我们可以使用以下目标函数来定义演员(Actor)的目标

$\begin{array}{l}J\left(s,x,y^{\left(1\right)},y^{\left(2\right)},i,\xi \right)\\ =E_{s,x,y^{\left(1\right)},y^{\left(2\right)},i,\xi }\left[{\displaystyle {\int }_s^{T\wedge \tau }{\text{e}}^{-\rho \left(t-s\right)}U\left(X_t^{\xi }\right)\text{d}t}+{\text{e}}^{-\rho \left(T\wedge \tau -s\right)}V\left(T\wedge \tau ,x_{T\wedge \tau },y_{T\wedge \tau }^{\left(1\right)},y_{T\wedge \tau }^{\left(2\right)},{\alpha }_{T\wedge \tau }\right)\right].\end{array}$

我们将函数导数近似为

$\nabla J=E_{s,x,y^{\left(1\right)},y^{\left(2\right)},i,\xi }\left[{\displaystyle {\int }_s^{T\wedge \tau }{\text{e}}^{-\rho \left(t-s\right)}\gamma {\text{e}}^{-\gamma x_t}\frac{\delta X_t}{\delta {\theta }_{\xi }}\text{d}t}+{\text{e}}^{-\rho \left(T\wedge \tau -s\right)}\left(\frac{\delta V}{\delta x}\frac{\delta X_{T\wedge \tau }}{\delta {\theta }_{\xi }}+\frac{\delta V}{\delta y^{\left(1\right)}}\frac{\delta Y_{T\wedge \tau }^{\left(1\right)}}{\delta {\theta }_{\xi }}+\frac{\delta V}{\delta y^{\left(2\right)}}\frac{\delta Y_{T\wedge \tau }^{\left(2\right)}}{\delta {\theta }_{\xi }}\right)\right].$

4. 数值算法

在本节中，我们通过一个基本的例子和敏感性分析，深入探讨了如何找到最优的比例再保险和投资策略使得在有限时间范围内保险公司的累计财富效用最大化问题。

4.1. 一个基本的例子

在这一部分，我们设置了一组合理的参数进行数值实验。让 $\delta =0.001$ ， ${\mu }_1=0.1$ ， ${\mu }_2=0.2$ ， ${\sigma }_1=0.1$ ，

${\sigma }_2=0.2$ ， $Q=\left(\begin{array}{cc}-2& 2\\ 1& -1\end{array}\right)$ ， $r=0.05$ ， $\rho =0.1$ ， $\gamma =0.5$ ， $b^{\left(1\right)}\left(t\right)=0.8$ ， $b^{\left(2\right)}\left(t\right)=0.4$ ， $a^{\left(1\right)}\left(t\right)=0.2$ ， $a^{\left(2\right)}\left(t\right)=0.1$ ，

假设索赔的到达强度为

$\{\begin{array}{l}{\lambda }^{\left(1\right)}\left(t,y^{\left(1\right)}\right)=\lambda \left(t\right)f_1\left(y^{\left(1\right)}\right),\hfill \\ {\lambda }^{\left(2\right)}\left(t,y^{\left(2\right)}\right)=\lambda \left(t\right)f_2\left(y^{\left(2\right)}\right),\hfill \end{array}$

其中 $\lambda \left(t\right)=2t+1$ ， $f_1\left(y^{\left(1\right)}\right)=y^{\left(1\right)}+1\in \left(1,2\right)$ ， $f_2\left(y^{\left(2\right)}\right)=y^{\left(2\right)}\in \left(0,1\right)$ ， $y^{\left(1\right)},y^{\left(2\right)}\in \left[0,1\right]$ 。设 $F^{\left(1\right)}\left(z\right)=1-{\text{e}}^{-az}$ ， $F^{\left(2\right)}\left(z\right)=1-{\text{e}}^{-bz}$ ， $b>a>0$ ， $z>0$ 设 $\theta =0.3$ ， ${\theta }_R=0.4$ ， $a=2$ ， $b=5$ ， $E\left[Z^{\left(1\right)}\right]=1/2$ ， $E\left[Z^{\left(2\right)}\right]=1/5$ 。在期望值原则下，我们有

$\{\begin{array}{l}{c}^{\left(1\right)}\left(t,y^{\left(1\right)}\right)=\left(1+{\theta }^{\left(1\right)}\right)E\left[Z^{\left(1\right)}\right]{\lambda }^{\left(1\right)}\left(t,y^{\left(1\right)}\right),\hfill \\ c^{\left(2\right)}\left(t,y^{\left(2\right)}\right)=\left(1+{\theta }^{\left(2\right)}\right)E\left[Z^{\left(2\right)}\right]{\lambda }^{\left(2\right)}\left(t,y^{\left(2\right)}\right),\hfill \\ q^{\left(1\right)}\left(t,y^{\left(1\right)},u^{\left(1\right)}\right)=\left(1+{\theta }_R^{\left(1\right)}\right)E\left[Z^{\left(1\right)}\right]\left(1-u^{\left(1\right)}\right){\lambda }^{\left(1\right)}\left(t,y^{\left(1\right)}\right),\hfill \\ q^{\left(2\right)}\left(t,y^{\left(2\right)},u^{\left(2\right)}\right)=\left(1+{\theta }_R^{\left(2\right)}\right)E\left[Z^{\left(2\right)}\right]\left(1-u^{\left(2\right)}\right){\lambda }^{\left(2\right)}\left(t,y^{\left(2\right)}\right).\hfill \end{array}$

设学习率0.01，时间间隔0.001，3个隐藏层，128个隐藏层维度，200次迭代，批量500，我们用python软件计算得到如下图。

Figure 1. The control $u_1$ , $u_2$ and $\pi$

图1. 控制 $u_1$ 、 $u_2$ 和 $\pi$

在图1中，我们可以看到，在上述数据设置下，两项保险业务的保险自留比例随着财富增长而降低，投资于风险资产的金额也随之降低。保险公司在期望原则下，选择较低的自留比例，即再保险比例上升，把索赔风险分担出去。这样做，虽然再保险保费上升，但是保险公司需要付出自己部分的索赔金额就越少了，总体而言财富是在累积上升，符合目标函数的假设。因此，对于普通索赔和灾难索赔到来时，保险公司面临着巨大的赔款，此时会选择把索赔风险分担出去，即购买再保险业务，从而再保险比例上升，保险自留比例下降。那么对于保险公司的索赔损失、购买再保险费用就能够从获取的保费中弥补回来，并且总财富在上升。同时，对于灾难性保险的自留比例 $u_2$ 比普通保险的自留比例 $u_1$ 要小，说明灾难性索赔支付的金额更加巨大，保险公司更倾向于将其风险分担出去。

此外，我们可以看见由于资产市场的价格不稳定，造成投资于风险资产的金额部分会减少到一定值后趋于稳定，也就是说，保险公司在动荡的金融市场中会选择较为稳定的无风险资产，以此维持财富的增加。

4.2. 敏感性分析

我们分别采取不同的厌恶系数 $\gamma$ 和索赔速率 $\lambda \left(t\right)$ 来研究对值函数的影响。

Figure 2. The influence of different aversion coefficients $\gamma$ and claim rates $\lambda \left(t\right)$ on the value function

图2. 不同的厌恶系数 $\gamma$ 和索赔速率 $\lambda \left(t\right)$ 对值函数的影响

在图2(a)中，我们看到随着厌恶系数 $\gamma$ 的增长，值函数也在不断增加。在图2(b)中，随着索赔速率 $\lambda \left(t\right)$ 的增加，值函数也在不断上涨。可能原因如下：第一，在效用函数U中，U是关于厌恶系数的增函数，当越大时，效用函数也越大，那么值函数就会增长。第二，索赔速率 $\lambda \left(t\right)$ 影响索赔到达强度，进而影响保费的收入，当索赔速率 $\lambda \left(t\right)$ 越大时，两条保险业务线的保费金额也会增加，这给保险公司带来较大的财富。索赔金额虽然也在增长，但是保险公司通过调整再保险策略，把风险分担出去，使得利润还是正增长，从而保持了财富的增长。总之，这两个参数都会对值函数产生比较大的影响。有效利用参数，能够使效用最大化。

NOTES

^*通讯作者。

参考文献