本文以Starlink一期星座为构型，其包括1584颗卫星，星座由72个轨道平面组成，每个轨道平面上有22颗卫星，卫星运行在大约550公里的低地球轨道(LEO) [13] 。本文构建的低轨卫星星间卸载系统模型如 图1 所示，由一个数据采集节点、一个本地卫星、多个可用卫星和一个融合中心卫星组成。数据采集节点搭载各种传感器和设备收集数据，并在收集后数据采集节点进行初步的数据处理。本地卫星将收到的任务分割为多个子任务，并将任务信息发给融合中心。边缘卫星有一定的计算资源，可以执行计算卸载子任务。融合中心接收当前系统中的全局信息，以进行决策。

具体卫星星间计算卸载流程如 图2 所示。假设低轨卫星间具有星间链路，数据采集节点通过各种传感器和设备采集数据，将数据通过星间链路传输到本地卫星。本地卫星收到任务后，对其进行分割得到多个子任务，并将各子任务的信息发送给融合中心(cloudcore)。各个可用卫星将自身信息发送给融合中心，融合中心根据约束条件得到参与协作的卫星，并通知选择的边缘卫星加入协作。然后融合中心通过得到的任务信息与边缘卫星群组信息来求解得到卸载决策和计算资源分配信息，并将结果发送至本地卫星。本地卫星将可用卫星加入边缘卫星群组，并根据求解结果对群组内的卫星进行任务和模型分发，本地卫星与边缘卫星同时开始处理任务，处理完成后本地卫星将任务结果进行汇总，最后将最终结果发送给地面。

低轨卫星间采用常见的“X”型星间链路构型，如 图3 所示，每颗卫星建立两条同轨星间链路和两条异轨星间链路 [14] 。网络中任意两个卫星间可由一条或多条路径相连接，且各条路径的跳数可能不同。本文采用最小跳数准则，后面分析的跳数均为两点间连接所需的最小跳数。

首先将接收到的总任务进行分割，得到M个子任务，每个子任务由两个参数组成的元组C_i = i, c _i>来表示，其中d _i表示子任务的数据量，c _i表示完成子任务i需要的周期数。

对于每个子任务，本地卫星可以通过星间链路将其卸载到不同的边缘卫星上，在不同的卫星上子任务可以同时执行，很大程度上降低了时延。每个子任务的卸载决策用 $a_{ij}=\left\{0,1\right\}\left(i=1,2,\cdot \cdot \cdot ,M;j=1,2,\cdot \cdot \cdot ,N\right)$表示，其中 $a_{ij}=0$表示子任务在本地卫星上计算， $a_{ij}=1$表示本地卫星将子任务i卸载到边缘卫星j上进行计算。

(1) 本地计算模型

子任务在本地卫星进行计算时，考虑在边缘计算环境中，本地卫星的计算能力恒定，所以定义本地卫星的计算能力为 $f^L$，因此可以得到子任务i在本地卫星执行的时间为 $t_{i0}^{loc}$，即

$t_{i0}^{loc}=\frac{c_i}{f^L}$ (1)

为了计算本地卫星执行子任务时的能耗，采用每个计算周期的能耗模型 [15] $E=\kappa f^2$，其中，κ (能量系数)取决于有效开关电容，f是卫星的工作频率。因此，本地卫星执行子任务i时的能耗为 $e_{i0}^{loc}$，即

$e_{i0}^{loc}=\kappa {\left(f^L\right)}^2{c}_i$ (2)

在本系统中可信值也是一个影响选择节点的因素，在本地计算时的可信值相比于卸载计算较高，所以在本地计算时的可信值设置为 $P_{i0}^{loc}$，其值设置为一个常数。

(2) 边缘卫星计算模型

当本地卫星执行子任务不满足约束条件时，考虑将子任务卸载至边缘卫星进行计算。发送过程中会存在传输时延与传播时延，定义本地卫星与边缘卫星之间的传输速率为 $v_{ij}$，因此子任务i卸载到边缘卫星j的传输时延为 $t_{ij}^{trans}$，即

$t_{ij}^{trans}=\frac{d_i}{v_{ij}}$ (3)

定义子任务卸载时的传播速度为c，L为两星之间的距离当跳数为1时，传播距离为本地卫星与边缘卫星j之间的距离，当跳数大于1时，传播距离为本地卫星与边缘卫星j之间最小跳数路径的距离之和，因此子任务i卸载到边缘卫星j的传播时延为 $t_{ij}^{pro}$，即

$t_{ij}^{pro}=2\cdot {\displaystyle \underset{hop=1}{\overset{x}{\sum }}\frac{L}{c}}$ (4)

当子任务卸载至边缘卫星侧时，边缘卫星会为其分配计算资源。定义边缘卫星j的计算能力为 $f_j^{\max }$，假定边缘卫星j给子任务i分配的计算能力为 $f_{ij}^{edge}$。对于任意一颗边缘卫星，其为任务分配的计算资源不能超过其自身计算资源，即

${\displaystyle \underset{i=1}{\overset{m}{\sum }}{f}_{ij}^{edge}\le f_j^{\max }}$ (5)

因此子任务i在边缘卫星j上计算的时间为 $t_{ij}^{edge}$，即

$t_{ij}^{edge}=\frac{c_i}{f_{ij}^{edge}}$ (6)

子任务从本地卫星卸载至边缘卫星的能耗包括任务传输能耗 $e_{ij}^{trans}$和任务计算能耗 $e_{ij}^{edge}$，定义 $p^{trans}$为本地卫星的传输功率，由此可得传输能耗为

$e_{ij}^{trans}=p^{trans}{t}_{ij}^{trans}=\frac{p^{trans}{d}_i}{v_{ij}}$ (7)

根据本地卫星计算能耗可知，边缘卫星计算能耗为

$e_{ij}^{edge}=\kappa {\left(f_{ij}^{edge}\right)}^2{c}_i$ (8)

假设节点出现故障的概率服从参数为 $\sigma$的泊松分布 [16] ，则在时间间隔[0, t]内节点发生故障p次的概率为 ${\lambda }_p\left(t\right)=\frac{{\text{e}}^{-\sigma t}}{p!}$。定义可信值 $P_{ij}^{edge}$为在子任务i处理时间间隔[0, t]内边缘卫星节点j上没有发生故障(即p = 0)的概率，其值为

$P_{ij}^{edge}={\text{e}}^{-\sigma t}={\text{e}}^{-\sigma c_i/f_{ij}^{edge}}$ (9)

由公式(1)和公式(3~6)，可以得到子任务i的时延可表示为如式(10)

$T_i=\left(1-a_{ij}\right)t_{i0}^{loc}+a_{ij}\left(t_{ij}^{trans}+t_{ij}^{pro}+t_{ij}^{edge}\right)$ (10)

由公式(2)和公式(7~8)，可以得到子任务i的能耗可表示为如式(11)

$E_i=\left(1-a_{ij}\right)e_{ij}^{loc}+a_{ij}\left(e_{ij}^{trans}+e_{ij}^{edge}\right)$ (11)

由公式(9)，可以得到子任务i的可信值可表示为如式(12)

$P_i=\left(1-a_{ij}\right)P_{i0}^{loc}+a_{ij}{P}_{ij}^{edge}$ (12)

根据公式(10~12)可得，子任务的总时延、总能耗和总可信值的加权和(系统成本)如式(13)

$Z={\displaystyle \underset{j=1}{\overset{N}{\sum }}{\displaystyle \underset{i=1}{\overset{M}{\sum }}\left({\omega }_1{T}_i+{\omega }_2{E}_i+{\omega }_2{P}_i\right)}}$ (13)

其中， ${\omega }_1$为时延的权重因子， ${\omega }_2$为能耗的权重因子， ${\omega }_3$为可信值的权重因子，通过调节权重因子可以改变每个分量的大小。

本文旨在最小化系统时延与能耗，最大化可信值，综上所述，在时延与资源的约束下，通过联合优化卸载决策与计算资源分配问题以最小化系统成本。具体的目标函数为：

$\begin{array}{l}\underset{A,F}{\min }{\displaystyle \underset{j=1}{\overset{N}{\sum }}{\displaystyle \underset{i=1}{\overset{M}{\sum }}\left({\omega }_1{T}_i+{\omega }_2{E}_i+{\omega }_3{P}_i\right)}}\\ \text{s}\text{.t}.\left(1\right){\displaystyle \underset{j=1}{\overset{N}{\sum }}{a}_{ij}\le 1},1\le i\le M,1\le j\le N\\ \left(2\right)T_i\le t_i^{\max }\\ \left(3\right){\displaystyle \underset{i=1}{\overset{M}{\sum }}{f}_{ij}^{edge}\le f_j^{\max }}\end{array}$ (14)

约束条件(1)表示一个子任务只能选择一个边缘卫星进行卸载；约束条件(2)表示子任务需要在规定时间内完成；约束条件(3)表示边缘卫星j为卸载至该卫星的子任务分配的计算资源总和不能超过其最大计算资源。

本地卫星可以通过星间链路与多条转发让周围卫星参与协作，假定σ表示在一段时间内卫星发生故障的平均次数，hop表示本地卫星与周围卫星之间的跳数，由于卫星网络节点的不确定性，每个卫星的σ值和hop不同，由此可以通过约束来筛选符合条件卫星节点加入边缘卫星群组：

${\sigma }_j\le {\sigma }^{\max }$ (15)

$ho{p}_j\le ho{p}^{\max }$ (16)

本文的优化变量包括离散变量A和连续变量F，则目标函数是一个混合整数非线性规划，采用传统方法难以获得最优解，因此本文引入马尔可夫决策过程(Markov Decision Process, MDP)，采用DDPG算法处理混合动作并学习最优卸载策略。

根据提出的优化问题进行MDP建模，模型包括状态、动作和奖励三部分。每个时间步智能体通过与环境进行交互，根据当前状态s_p来采取动作a_p，得到一个奖励r_p，并反馈给环境获得一个新的状态s_p+1。

(1) 状态空间：状态空间s_p包含了系统所有的观测状态，包括系统输入状态(包括任务队列状态、任务数据量、任务CPU周期数)和系统资源状态，在时刻 $p\left(p=1,2,\cdot \cdot \cdot \right)$的状态空间用一维向量表示为：

$s_p=\left\{Q^T,C,F^{edge}\right\}$ (17)

其中， $Q^T=\left\{q_1^T,q_2^T,\cdot \cdot \cdot ,q_m^T\right\}$表示当前任务队列状态， $C=\left\{C_1,C_2,\cdot \cdot \cdot ,C_m\right\}$表示所有子任务的信息， $F^{RE}=\left\{F_1^{RE},F_2^{RE},\cdot \cdot \cdot ,F_n^{RE}\right\}$表示边缘卫星当前剩余计算资源。

(2) 动作空间：在p时刻采取的动作a_p包含决策卸载与计算资源分配，可表示为：

$a_p=\left\{a_{ij},f_{ij}^{edge}\right\}$ (18)

其中， $a_{ij}$表示在p时刻让子任务i卸载到边缘卫星节点j， $f_{ij}^{edge}$表示在p时刻让边缘卫星节点j为子任务分配的计算资源。

(3) 奖励函数：在状态s_p执行动作a_p，环境进入下一状态s_p+1，并返回对应的奖励r_p。设计的奖励函数应满足目标函数的需求 [17] ，最小化时延与能耗，最大化可信值，所以奖励函数设计为：

$r_p=K-\left({\omega }_1{T}_i+{\omega }_2{E}_i-{\omega }_3{P}_i\right)-Q_1-Q_2$ (19)

其中，K为常量，使奖励趋向正值， ${\omega }_1{T}_i+{\omega }_2{E}_i-{\omega }_3{P}_i$是式(14)中的优化目标。Q表示惩罚项，由两部分组成， $Q_1$表示子任务处理超时的惩罚， $Q_2$表示分配的计算资源溢出的惩罚，这两种情况都会导致系统成本增加，从而导致惩罚。

基于DDPG的卫星星间计算卸载过程的框架如 图4 所示，该算法使用演员–评论家(Actor-Critic)算法作为其基本框架，对于策略函数和价值函数均使用双重神经网络模型架构(即Online网络和Target网络)，使得算法的学习过程更加稳定，收敛的速度更快。DDPG单元包括四个神经网络，分别为Actor训练网络、Actor目标网络、Critic训练网络和Critic目标网络，用于对Q值函数和策略近似表示。Actor训练网络和Critic训练网络用来输出动作和估计动作的Q值；Actor目标网络和Critic目标网络用来输出目标Q值。首先，从环境获取当前状态s_p，由Actor训练网络提供当前状态的策略来输出动作a_p，得到当前任务的卸载和资源分配，为了平衡对新动作的探索和对已有动作的利用，添加了一个具有均值回复特性的OU (Ornstein-Uhlenbeck)噪声 $\epsilon$：

$a_p=\pi \left(s_p|{\theta }^{\mu }\right)+\epsilon$ (20)

执行动作a_p后由环境反馈得到奖励r_p和下一状态s_{p + 1}，将每个时间步的状态、动作、奖励和下一状态表示为一条经验 $\left(s_p,a_p,r_p,s_p{}_{+1}\right)$，并存入经验回放缓冲区。

当存放的经验数目等于回放缓冲区的大小时开始训练，从经验缓冲区中随机抽取batch_size组经验，首先，通过Critic目标网络得到式(21)

$y_p=r_p+\gamma Q\left(s_{p+1},\pi \left(s_{p+1}|{\theta }^{\mu \text{'}}\right)|{\theta }^{Q\text{'}}\right)$ (21)

其中， $\gamma \in \left(0,1\right)$为折扣因子， $\pi \left(s_{p+1}|{\theta }^{\mu \text{'}}\right)$由Actor目标网络近似估计得到，通过Critic训练网络得到式(22)

$Q\left(s_p,a_p|{\theta }^Q\right)$ (22)

然后通过最小化损失函数来来更新Critic训练网络，如式(23)

$loss=\frac{1}{N}{\displaystyle \underset{p}{\sum }{\left(y_p-Q\left(s_p,a_p|{\theta }^Q\right)\right)}^2}$ (23)

Actor目标网络用于提供下一状态的策略，Actor训练网络则是提供当前状态的策略，结合Critic训练网络的Q值函数，可以通过Actor网络更新策略梯度来训练，如式(24)

${\nabla }_{{\theta }^{\mu }}J=\frac{1}{N}{\displaystyle {\sum }_p{{\nabla }_{a}Q\left(s,a|{\theta }^Q\right)|}_{s=s_p,a=\pi \left(s_p|{\theta }^{\mu }\right)}{{\nabla }_{{\theta }^{\mu }}\pi \left(s|{\theta }^{\mu }\right)|}_{s=s_p}}$ (24)

最后通过软更新的方式更新Actor目标网络和Critic目标网络，如式(25)

${\theta }^{\mu \text{'}}=\tau {\theta }^{\mu }+\left(1-\tau \right){\theta }^{\mu \text{'}}$ (25)

${\theta }^{Q\text{'}}=\tau {\theta }^Q+\left(1-\tau \right){\theta }^{Q\text{'}}$ (26)

利用STK软件得到某一时刻一组可用卫星的拓扑结构与各节点之间的距离，通过STK的接口将各个卫星之间的距离矩阵导入Pycharm， 表1 为仿真相关参数的设置。

对于DDPG的参数，Actor网络包含两个全连接层，分别由128和64个神经元组成，学习率为0.0001，Critic网络包含三个全连接层，分别由258、128和64个神经元组成，学习率为0.001，两个网络都采用AdamOptimizer来进行更新，OU噪声的初始标准差为σ = 0.5，回归速度为θ = 0.2，时间步长d_t = 0.01，OU噪声每个时间步的标准差衰减率为0.9995，折扣因子为γ = 0.99，软更新因子为τ = 0.001。

在训练过程中，最大训练回合数为2000，经验回放缓冲区的大小为30000，采样批次大小为128。为了验证DDPG算法的优势，将其与Local、Random和DQN算法进行对比。其中，Local为不进行卸载，本地处理任务；Random为任务随机生产卸载决策和边缘卫星随机为任务分配计算资源；DQN中将边缘卫星计算资源分配进行离散化，得到离散的卸载决策和计算资源分配的动作组合。

图5 为DDPG算法在不同优化器下的loss曲线，从图中可以看出使用Adam优化器可以使算法的loss更好的收敛。 图6 为不同算法的收敛性能比较，由图可见Local、DQN和DDPG随着迭代轮次的增加都可以达到稳定收敛。可以看出DDPG算法能够得出最优策略并最大化了奖励，证明了所提方案的有效性。此外由于DQN对动作空间的离散化，缺乏大量的行为尝试，这使得DQN很难准确地找到最优的卸载策略，因此奖励低于DDPG。对于Local，由于大多数任务不能按时完成，因此奖励最低；其次是Random，其奖励不稳定且无法收敛，原因为随机卸载方案是随机选取动作，无法保证选取合适的任务关联和资源分配策略，导致波动较大。

表2 列出了各种算法的运行时间，由此可见，训练时间与神经网络结构有关，参数越多、层次越多，需要的学习时间就越多。但他们在测试阶段花费的时间区别不大，这意味着算法在实际部署中的可行性。

图7 为不同任务数据量对系统奖励的影响。从图中可以看出，随着任务数据量的增加，4种算法的系统的奖励都不断减小，这是因为总任务数据量增加时，分割得到的每一个子任务的数据量也会增加，从而导致子任务的计算时延和能耗增加。具体来说，Local算法表现最糟糕，由于所有任务都是在本地计算，随着数据量增加，无法在规定时间内完成任务导致奖励较低。Random算法是随机选取动作，可能会选到部分合适的策略，所以较Local来说在数据量较大时奖励高一些。而DQN和DDPG算法较前两种方法能取得较高的奖励，尤其是DDPG可以得到边缘卫星精确的资源分配，所表现的性能更佳。

图8 为不同边缘卫星数量对系统奖励的影响。可以看出，随着边缘卫星数量的增加，除了Local外，所有算法的奖励都不断增加，原因是在边缘卫星较少时，大部分任务在本地卫星计算，导致无法满足时延需求，奖励较低，随着边缘卫星数量增加，每个子任务所分到的计算资源增加，所以奖励也逐渐增加。Local算法因为所有任务在本地计算，边缘卫星的数量变化对其没有影响，所以奖励保持不变。Random算法由于其随机选择导致动作可能超出了计算资源约束条件，会受到惩罚，所以其奖励增长较少。对于DQN和DDPG，DDPG算法的性能要优于DQN，因为随着边缘卫星数量的增加，其离散化动作空间导致动作空间的维度增大，所以得到的奖励较低于DDPG。

图9 为不同边缘卫星数量的时效与能效曲线。对于任务的时效与能效的计算式分别为：时效 = 数据量/时延和能效 = 数据量/能耗，由图中可以看出随着边缘卫星数量的增加，时效逐渐增大，能效逐渐减小。由于边缘卫星数量增加到一定程度时，时延虽然减小，但是能耗大幅增加。

图10 为不同算法的平均时延。根据上述图表，可以得出在不同算法的平均时延比较中，DDPG算法的平均时延最低，仅为1.16 s，显示出最优的性能表现。这表明DDPG在任务卸载与资源分配方面具有较好的优化效果。相比之下，DQN和PSO算法的平性能略逊于DDPG，但依然表现较好。而Local方法(本地计算)具有最高的平均时延，达到2.39 s，进一步验证了单纯依赖本地计算难以满足任务时延需求的局限性。因此，使用DDPG算法可以有效地减少任务时延，提升系统性能。

表3 为不同边缘卫星数量下处理任务时延减少的百分比， 表4 为不同边缘卫星数量下处理任务能耗增加的百分比。可以看出卫星数量增加的过程中，时延减少的百分比的增量逐渐减小，在卫星数量大于4时增量较小；能耗增加的百分比的增量逐渐增加，从4增加到5时增量较大。