基于在光流运动信息约束下对中间帧进行细化的概念，我们设计了一种用于视频插帧(VFI)的框架，如 图2 所示。给定输入帧 $I_0$和 $I_1$，采用双级窗口Transformer的BWT-FlowNet被设计用于估计更精确的光流，这些光流随后被用于通过反向变形获得变形帧 ${\hat{I}}_0,{\hat{I}}_1$。在光流所获取的运动信息的引导下，掩模预测模块计算掩模 $M$，用于指示连续帧上的运动内容。通过变形帧和掩模 $M$，可以得到粗糙的中间帧 ${\hat{I}}_t$，其表达式为：

$\begin{array}{c}{\hat{I}}_t=M\odot {\hat{I}}_0+\left(1-M\right)\odot {\hat{I}}_1\text{.}\end{array}$ (1)

为在光流运动信息约束下指导中间帧的细化，本文提出一种运动边界块预测(MBPP)算法，用于将掩模处理成运动边界掩模(MB mask)，以明确限定运动及内容变化区域。随后，MB mask被下采样为金字塔结构 $M_{prd}$，供细化网络使用。

引入上下文编码器可以从输入图像中提取详细的高维特征 $C_0,C_1,C_2,C_3$，这些特征通过光流 $O$进行反向变形，得到变形特征 ${\hat{C}}_0,{\hat{C}}_1,{\hat{C}}_2,{\hat{C}}_3$，其表达式为：

$\begin{array}{c}{\hat{C}}_0,{\hat{C}}_1,{\hat{C}}_2,{\hat{C}}_3=Warp\left(O,Encoder\left(I_0,I_1\right)\right)\end{array}.$ (2)

最终，将输入帧、光流、变形帧、多尺度变形特征以及 $M_{prd}$输入到运动边界感知细化(MBAR)网络中，该网络预测中间帧的细化细节 $\Delta I_t$。通过将细化细节 $\Delta I_t$与融合帧相结合，得到最终结果 $I_t$，其表达式为：

$\begin{array}{c}{I}_t=\widehat{I_t}+\Delta I_t\text{.}\end{array}$ (3)

本文设计了BWT-FlowNet以实现更精确的光流估计，如 图3 所示。光流能够有效地指导输入帧和图像特征的变形，而精确的运动信息则增强了对运动区域的识别能力。

(1) BWT-FlowNet：与传统的卷积神经网络(CNN)相比，Transformer能够更有效地捕捉长距离依赖关系和全局上下文信息，这在光流估计中尤为重要，尤其是在处理大运动以及提高估计精度方面。因此，我们引入了一种新的视觉Transformer，它在BWT Flow Block中采用了双级路由注意力(Bi-Level Routing Attention) [34] ，以捕捉视频序列中的长距离时空相关性。

如 图3 左侧所示，BWT-FlowNet中的BWT Flow Block采用了三级金字塔结构，用于从粗到细地预测光流。光流 $O_i$的计算公式为：

$\begin{array}{c}{O}_i=O_{i-1}+\text{BWT}\text{Flow}{\text{Block}}_i\left(O_{i-1},I_{i-1}^w\right)\text{,}\end{array}$ (4)

其中， $O_i$表示由第 $i-1$个BWT Flow Block预测的光流， $I_{i-1}^w$表示通过 $O_{i-1}$对输入帧进行反向变形得到的变形帧。参数k随着特征尺寸的增加而持续增大，使得BWT Flow Block能够从最相关的top-k区域捕获更多特征。

(2) BWT Flow Block：将CNN与Transformer结合可以提升网络性能，因为Transformer能够捕捉长距离相关性和全局结构，而CNN则用于提取细粒度的局部特征。如 图3 右侧所示，我们的BWT Flow Block同时包含一个卷积模块(Conv Module)和一个双级窗口Transformer模块(BWT Module)，以实现更全面的特征提取和运动估计。

在BWT Flow Block中，通过两个连续的卷积块将特征通道数c增加，再使用8个连续的卷积块获取高维特征。随后，在BWT模块中使用BWT块处理特征，其通过双级路由注意力(Bi-Level Routing Attention, BRA)从最重要的区域捕捉长距离时空相关性特征。最后，将输出特征输入到转置卷积块中以计算光流，公式为：

$\begin{array}{c}O=\text{TransConv}\left(F_C\right)+\text{TransConv}\left(F_T\right)\text{,}\end{array}$ (5)

其中，F_C表示通过深度卷积获得的特征，F_T表示由BWT块捕捉到的长距离相关性特征。

(3) BWT Block：双级路由注意力(BRA)是一种具有内容感知能力的稀疏注意力机制，它在BWT块中通过两阶段的过滤过程捕捉长距离依赖关系。首先，在区域级别构建区域亲和图，并剪枝掉与查询无关的区域。然后，在剩余的相关区域内执行细粒度的token-to-token注意力。

给定一个特征图 $X$，BWT块中的BRA将其划分为 $S\times \text{S}$个不重叠的区域，每个区域包含 $HW/S^2$个特征向量。然后通过线性投影和权重矩阵 $W^q,W^k,W^v$分别得到查询、键、值张量 $Q,K,V$，公式为：

$\begin{array}{c}Q=X^r{W}^q,K=X^r{W}^k,V=X^r{W}^v\text{,}\end{array}$ (6)

其中， $X^r\in {ℛ}^{S^2\times \frac{\text{HW}}{S^2}\times \text{C}}$是从 $X\in {ℛ}^{H\times \text{W}\times \text{C}}$重新排列得到的。通过对Q和K分别进行区域级平均，得到区域级查询和键 $Q^r$， $K^r\in {ℛ}^{S^{2}C}$。随后，通过 $A^r=Q^r{\left(K^r\right)}^T$得到区域间亲和图 $A^r$，它表示两个区域在语义上的相关性。接着，BRA选择相关性最高的k个索引，并将它们存储在索引矩阵 $I^r$中，其中 $I^r=topkIndex\left(A^r\right)$。 $I^r$的第i行包含与第i区域最相关的k个区域的索引。最后，得到输出 $L$，公式为：

$\begin{array}{c}L=Attention\left(Q,K^g,V^g\right)+LCE\left(V\right)\text{.}\end{array}$ (7)

其中， $K^g,V^g$是从最相关的k个区域中收集的键和值张量，而LCE(V)表示局部上下文增强，如文献 [35] 所述。特别地，在最后一个BWT Flow块中，BRA的局部窗口数量S被设置为14，k被设置为8，从而使BRA能够专注于更细粒度的区域。注意力窗口大小的调整策略如 图4 所示。

在视频序列中，两帧之间显著变化的区域往往只有全部内容的一小部分，而其他部分保持静止或仅简单运动，如 图5 所示。为此，需要区分出明显运动的区域，并在合成中间帧时关注这些部分。

借助BWT-FlowNet所获得的精确光流信息，掩模预测模块(Mask Predict Block)能够预测出限制运动区域的掩模M。为帮助细化网络聚焦于内容变化区域，本文设计了一种运动边界块预测算法来处理掩模M。首先，设定两个阈值 $T_{low}$和 $T_{high}$，用于区分具有显著运动的区域。随后，将掩模值低于 $T_{low}$或高于 $T_{high}$的部分设置为1，其余所有值设置为0，从而将M转换为二值掩模 $M_{binary}$，其计算公式为：

$\begin{array}{c}{M}_{binary}=Threshold\left(M,T_{low},T_{high}\right)\text{.}\end{array}$ (8)

合成的中间帧通常在内容变化显著的运动边界附近存在模糊和伪影问题，而像素级掩模无法充分指示与运动相关的区域。为了适当扩展掩模区域以获取更多上下文特征，将 $M_{binary}$的掩模区域转换为大小为L × L的块：

$\begin{array}{c}{M}_{patch}=Patchif\left(M_{binary},L,N\right)\text{.}\end{array}$ (9)

在每个块中，若有N个或更多像素的值为1，则该块中的所有元素均被设为1。最终获得运动边界掩模(MB mask)，记作 $M_{patch}$。整个过程如 图6 所示。其中，T_low、T_high、L和N均为超参数，根据实验结果进行调整。

随后，对 $M_{patch}$进行下采样，以获得金字塔结构的MB mask，这些掩模被输入到MBAR Net的子编码器中，使其能够更加关注运动和内容变化区域。

具体来说，依据两个连续帧的运动信息，可预测出一个对应的MB mask，如 图7 所示。该MB mask被送入到MBAR Net的子编码器，并与编码器的输入特征进行拼接，从而对特征中的部分区域进行强调。这种特征处理方法，能够使MBAR Net在细化中间帧时，关注运动边界相关的特征，最终提高这些部分的图像质量。

为了在中间帧的细化过程中专注于内容变化区域并提升这些区域的图像质量，本文开发了一种运动边界感知细化网络(Motion Boundary Aware Refinement Net，简称MBAR Net)，该网络在不同的子编码器层中采用了金字塔结构的MB mask，如 图8 所示。

为了与不同子编码器的输入特征尺寸相匹配，MB mask被下采样为不同尺寸的掩模，记作 $M_{patch}^i$。子编码器的输入特征与 $M_{patch}^i$进行拼接，然后通过DownResBlock进行处理。 $Encode{r}_i$的输出特征 $f_i$的计算公式为：

$\begin{array}{c}{f}_i=CBAM\left(En{c}_i\left(M^i{}_{patch},{\hat{C}}_i,f_{i-1}\right)\right)\text{.}\end{array}$ (10)

在MB mask的引导下，MBAR Net能够在编码和解码过程中更加关注运动区域。每个子编码器的输出特征通过DownResBlock中的CBAM [36] 进行处理，通过空间和通道注意力优化中间特征。此外，残差块 [37] 也被应用于DownResBlock和UpResBlock中，以有效学习特征，增强网络的泛化性能及稳定性。为在下采样过程中更好地保留特征信息，DownResBlock中采用了平均池化，而非基于卷积的下采样方法。

本文采用 $L_1$损失作为重建损失，用于建模中间帧的重建质量，公式为：

$\begin{array}{c}{L}_{rec}=I_t^{GT}-I_t{}_1\text{.}\end{array}$ (11)

此外，为了衡量光照变化，本文使用了Census损失 [38] [39] $L_{cen}$，其定义为 $I_t^{GT}$和 $I_t$的Census变换图像块之间的软汉明距离。

掩模感知损失(Mask Perceptual Loss)。运动边界周围的区域表现出更复杂、更大的运动。然而，一些损失函数会在整个内容上计算预测值与目标值之间的差异，未能更多地关注图像中的运动区域。为此，我们引入了基于提出的MB mask的掩模感知损失(MP损失)，以解决这一问题。首先，使用MB mask分别与预测帧 $I_t$和目标帧 $I_t^{GT}$相乘，以保留内容变化的区域。随后，利用预训练的VGG网络提取丰富的感知特征，计算处理后的预测帧与目标帧之间的感知损失，公式为：

$\begin{array}{c}{L}_{mp}=VGG\left(M_{patch}\times I_t^{GT},M_{patch}\times I_t\right)\text{.}\end{array}$ (12)

蒸馏损失(Distillation Loss)。在光流估计中，本文采用了蒸馏损失 $L_{dis}$来提高预测质量。在BWT-FlowNet中增加了一个额外的BWT Flow Block作为引导块，从目标帧接收信息，从而在训练过程中更准确地预测光流。蒸馏损失的计算公式为：

$\begin{array}{c}{L}_{dis}=O_{t\to 0}^{Teacher}-O_{t\to 0}{}_1+O_{t\to 1}^{Teacher}-O_{t\to 1}{}_1\text{.}\end{array}$ (13)

完整目标函数。我们的完整目标函数定义为：

$\begin{array}{c}L=L_{rec}+{\lambda }_{cen}{L}_{cen}+{\lambda }_{mp}{L}_{mp}+{\lambda }_{dis}{L}_{dis}\text{,}\end{array}$ (14)

其中， ${\lambda }_{cen}$， ${\lambda }_{mp}$和 ${\lambda }_{dis}$分别是 $L_{cen}$， $L_{mp}$和 $L_{dis}$的权重。

我们的模型在以下多个数据集上进行了评估：

Vimeo90K [12] ：包含两个子集，即三元组(Triplet)和七元组(Septuplet)数据集，分辨率为448 × 256。

UCF101 [40] ：与人类行为相关，包含379个三元组，分辨率为256 × 256。

Middlebury [41] ：我们在Middlebury的OTHER子集上进行了测试，其中包含分辨率为约640 × 480的图像。

SNU-FILM [42] ：包含1240个三元组，分辨率为1280 × 720，根据难度分为四个子集：简单(Easy)、中等(Medium)、困难(Hard)和极限(Extreme)。

本文在Vimeo-90k数据集上训练模型，并在其他数据集上评估其性能指标。

网络架构。在BWT-FlowNet中，本文为每个BWT Flow Block配置了不同的嵌入维度。每个Flow Block包含6个BWT块，用于捕捉相关窗口的数量和参数k的设置如 图3 所示。卷积部分(Conv Module中的参数c)的通道数分别设置为360、225、135和135。在MB mask处理的实现中，T_low和T_high分别设置为0.2和0.8，而L和N分别设置为8和2。对于本文的小型模型，第一个BWT Flow Block仅包含4个BWT块，且在经过Conv Module和MBAR Net后，特征尺寸被下采样为原始尺寸的一半。

训练细节。本文模型使用AdamW优化器进行训练，学习率设置为1 × 10⁻⁴。训练和测试均在RTX 3090 GPU上进行，批量大小设置为8，模型总共训练250个周期。本文从训练样本中随机裁剪出224 × 224的图像块，并通过随机翻转和时间反转对其进行数据增强。

本文将所提方法与最先进的视频插帧(VFI)方法进行了比较，这些方法包括基于核的方法SepConv [4] 、AdaCoF [43] ，基于光流的方法ToFlow [12] 、DAIN [5] 、SoftSplat [18] 、CAIN [42] 、BMBC [44] 、RIFE [13] 和 ABME [45] ，以及MFRNet [23] 和M2M [46] 。对于本文方法的结果，我们运行了RIFE和IFRNet [21] 的公开代码，并参考了IFRNet和 [47] 中的其他结果。本文采用常见的指标(如PSNR和SSIM)进行定量评估，结果如 表1 所示。此外，本文还对提出方法与几种最先进的方法进行了视觉比较，如 图9 所示。在预测结果的第一行中，本文的模型能够清晰地渲染出运动幅度较大的手指，优于其他方法。其他视觉比较也证明了本文的模型具有卓越的视觉性能。

在本节中，本文进行了几项消融研究，以探讨本文提出的方法。消融实验使用了几个参数较少的模型，并在Vimeo90K和SNU-FILM数据集上进行训练和测试。小型模型采用了较少的BWT块和缩减的卷积通道。

MB mask的效果：在细化阶段使用多尺度MB mask作为引导以增强预测精度是本文设计的一种新方法。为了验证我们提出的两阶段框架的有效性，本文在MB mask上进行了消融实验。通过 表2 所示的实验发现，采用MB mask的模型在Vimeo90K数据集上将PSNR提高了0.108 dB，本文的模型也在SNU-FILM数据集上提升了性能。

BWT Block效果：BWT模块是捕捉长距离依赖关系的关键组件。本文通过改变模型中BWT块的数量来研究其有效性。 表3 比较了光流预测网络中不同数量BWT块的性能指标，包括无BWT块的版本、包含4个BWT块的版本以及包含6个BWT块的版本。可以观察到，在Vimeo-90k数据集上，模型3相较于模型1实现了0.12 dB更高的PSNR；在SNU-FILM数据集的中等难度和高难度子集上，模型3也分别实现了0.14 dB更高的PSNR。对比模型2和模型3可以明显看出，适当增加BWT块的数量能够提升模型预测的准确性。

多尺度上下文编码器和CBAM的效果：编码器提取的多尺度图像特征用于中间帧合成，其中更准确的特征能够带来更精确的预测。本文比较了在细化网络中使用多尺度上下文编码器与普通卷积模块的性能。如 表4 所示，使用上下文编码器的模型在Vimeo90K数据集上相比仅使用普通卷积的模型，PSNR提升了0.13 dB。

此外，该模型还在SNU-FILM数据集的中等难度和高难度子集上显示出性能提升。进一步地，本文研究了在编码器中使用CBAM的效果。包含CBAM的模型在Vimeo90K数据集上比第二好的模型提升了0.05 dB，在SNU-FILM数据集的中等难度和高难度子集上分别提升了0.04 dB和0.03 dB。

掩模感知损失的效果：此外，本文还对掩模感知损失进行了消融实验，结果如 表5 所示。可以观察到，在引入掩模感知损失后，模型在Vimeo90K数据集上实现了0.031 dB的PSNR提升，在SNU-FILM数据集的中等难度和高难度子集上分别实现了0.12 dB和0.06 dB的提升。

此外，本文还评估了不同消融模型的推理结果，如 图10 所示。从图中对比可以证明，BWT-FlowNet、上下文编码器、MB mask和MP损失的整合显著提升了我们模型生成更准确中间帧的能力。