听觉模态的源数据为拾音器采集的一维波形数据。语音相关的视觉模态特征通常为按照视频帧率组成图像序列，每一个图像帧可视为二维数字矩阵。视觉模态在单个采样点上的信息量主要体现在二维，而与语音相关的信息集中在图像中的人脸区域。图像序列构成的视觉模态特征不仅在单帧图像上表达了说话人的位置或数量信息，也利用了多张图像存在的时序信息，如说话人的面部和姿态的变化。

从特征的时序维度考虑，语音原始波形的采样点远高于视频帧，如1秒的时间区间内，听觉信息包含上千个波形数据点，而视觉信息最多只有起点和端点的两张图像数据。因此，常见的多模态方法中，视觉模态特征的处理重点在于利用神经网络提取二维图像信息，而听觉模态主要针对长序列的特征学习。时序上的信息量和不同模态处理方法的差异，导致两种模态在融合前存在较大的特征尺寸差异。为了解决时序维度差异问题，常使用上采样线性插值的方法提高视觉模态特征在时序维度上的长度。线性插值法是假设特征点间存在线性变化，基于插值与左右参考点的距离权重补充数据，但图像帧之间的音频波形变化具有随机性，依靠图像特征的两点信息难以准确匹配视觉模态和听觉模态信息。

通过分析视觉模态和听觉模态差异，提出一种基于视觉模态时序尺度融合的语音分离方法。压缩听觉特征的时序长度，使其与视觉特征的时序长度相近后再进行模态融合。模型的整体结构如 图1 所示。在模态输入模块中，视觉信息提取自视频中的图像帧，基于视频帧率提取所有的人脸原始图像。通过Opencv视觉库检测图形中的人脸区域，并提取人脸特关键点特征。为了匹配两种不同模态的特征长度，使用时序编码器降低听觉模态的特征长度，在不改变特征通道的情况下融合两种模态特征。通过解码器生成包含视觉特征和听觉特征的融合特征。融合特征与听觉特征通过残差连接引入由双尺度扩张卷积构成的分离模块，并在重构模块中通过转置卷积网络重建出不同说话人的语音。

特征提取包含视觉和听觉模态。为了降低网络参数并提高特征的可解释性，视觉模态来源于视觉图像序列数据的人脸关键点坐标。使用级联分类器检测图像帧的人脸位置坐标，并输入到经典的人脸关键点检测网络LBF (Local Binary Features) [22] 中提取68个人脸关键点。将关键点二维坐标相加后作为人脸特征点数据。通过权重共享的一维卷积学习视觉特征的共性表达，在通道维度融合不同说话人特征，形成多人视觉模态特征。听觉模态使用主流时域语音分离模型的提取方法，采用多个一维卷积编码，获取多通道时域特征。

Unet是基于编码器和解码器结构的经典神经网络，运用于语义分割 [23] 和语音增强 [24] 等任务，其编码器通过下采样操作降低特征维度，在解码器部分使用上采样恢复特征尺寸并与编码器对应尺寸的特征图融合，学习不同尺度下的特征信息 [25] 。通过借鉴Unet的结构，设计只在时序尺度改变维度的视听融合机制，构建听觉时序编码器与融合特征解码器的类Unet结构，如 图2 所示。

基于视觉模态的时序维度尺寸，设计听觉时序编码器的卷积神经网络层数和卷积核参数。在不改变通道数的前提下，采样听觉模态的时序特征，使编码器输出的听觉特征在时序尺度上与听觉特征接近。为了尽量保留视觉特征的信息量，听觉时序编码器输出的听觉特征时序长度与视觉特征时序长度接近。虽然视觉特征仍需要使用线性插值的上采样与听觉特征保持一致，但插值的信息量远低于直接匹配听觉模态特征。

通过通道维度拼接的融合方法，获得小尺度的视听融合特征，并使用批归一化 [26] 保证数据分布的一致性。利用解码器结构的反卷积计算，将时序尺度恢复到与编码器各层听觉特征一致。为了提高每一层特征的长序列信息表达，基于编码器各层的特征长度，依次添加单尺度时序卷积块。编码器特征通过时序卷积后与解码器特征拼接融合，保留了多个维度的语音信息。在Unet网络最后一层的解码器，输出包含视听觉模态的融合特征，在时序尺度上与听觉输入特征一致。

主干网络为改进的Conv-TasNet网络分离模块，为了进一步提高模型对序列特征的学习能力，引入指数递减的扩张卷积，优化后的时序卷积块如 图3 所示。在Conv-TasNet网络分离模块中，堆叠时序卷积块中采用了膨胀因子以2为底，指数从0增长至7的扩张卷积。随着膨胀因子不断提高，模型对长序列特征的提取能力单一，难以学习不同尺度的语音信息。在时序卷积块中融合指数由7递减至0的扩张卷积，形成了双尺度的扩张时序卷积块，在每一层的时序卷积块中都有两个扩张卷积提取时序特征。通过24个双尺度时序卷积块提取出具有说话人权重信息的掩蔽矩阵，在后续语音重构模块中重建不同说话人的语音数据。

实验数据集的构建基于音视频公开数据集GRID [27] ，包含了18名男性说话人和15名女性说话人的音频和视频文件。各自随机选取3名男性和女性作为混合语音测试集数据源。验证集数据源采用同样的方法，选择了与测试集不同的3名男性和3名女性。剩下的说话人作为训练集的数据源。为了保证数据集之间不受干扰，在对应数据集中随机选取说话人音频数据，以−5 dB到5 dB的随机信噪比混合。通过记录每个数据集的总时长，构建3个小时的混合语音测试集，1个小时的验证集和10个小时的训练集。视觉模态特征基于说话人的数据集分布，提取出对应的人脸特征数据，作为语音对应的视觉模态数据集。

使用公开数据集TUT2016 [28] 声学场景数据集构建包含真实噪声的混合语音测试集，用于模型的鲁棒性验证。随机选取环境语音数据与GRID混合语音按照一定的混合比例生成带环境噪声的3小时混合语音数据集，混合公式如下：

$A_{mix}=\alpha A_1+\beta A_2+0.3\times A_n$(1)

式中 $A_{mix}$表示混合后的多人语音数据； $\alpha$和 $\beta$为语音混合的随机信噪比参数； $A_n$代表随机选取的真实环境背景声； $A_1$和 $A_2$为随机选取的说话人音频。

模型的网络结构部分超参数如 表1 所示。

模型训练和推理的最短时长为3 s，音频的采样率为8 kHz。模型初始学习率设置为10⁻³，且在验证集性能连续三次未提升时减半。模型的验证集性能在10次训练周期后未提高，则结束训练，并作为最优模型。验证集和测试集的数据批大小为3。评价指标和模型训练的损失函数选用主流的尺度不变信噪比SI-SNR (scale-invariant signal-to-noise ratio improvement) [29] ，其定义为：

$s_a=\frac{\langle s_o,s\rangle s}{s^2}$(2)

$s_n=s_o-s_a$(3)

$SI-SNR=10{\log }_{10}{\left(\frac{\Vert s_a\Vert }{\Vert s_o\Vert }\right)}^2$(4)

式中 $s_o$表示语音分离模型中分离出的说话人语音数据， $s$表示说话人的干净语音数据。

为了验证视听模态语音分离方法的性能，对比单模态模型与视听模态对比模型。针对单模态对比实验，选取了经典的时域语音分离网络Conv-TasNet与近期提出基于Transformer的TDAnet网络。TDAnet是采用Unet网络结构和多头注意力机制的时域语音分离网络，在分离性能上远高于经典的Conv-TasNet模型，同时具有较小的参数量 [30] 。在与多模态模型的对比中，选择近年提出的基于生成对抗网络的AVSS方法 [17] 。该方法通过生成对抗网络输出具有语音相关特征的视觉特征，且同样基于Conv-TasNet基线网络构建模型。实验结果如 表2 所示。单模态模型1和2分别表示单模态纯时域语音分离网络Conv-TasNet基线模型和最新的TDAnet网络。视听对比模型是基于生成对抗网络体提取视觉特征的视听语音分离模型。

单模态模型2在无背景声的测试集和包含噪声的测试集上都有优于单模态模型1，而针对单模态模型1提出的视听模态融合改进，使整体性能优于单模态模型2的表现，说明所提方法在基于多模态的语音分离任务中超过了单模态的最新分离网络。与视听对比模型对比中，所提方法在两个测试集上都优于近年提出的视听语音分离方法。为了比较直接上采样的融合方法，使用视觉特征上采样的机制训练模型。在两类数据集上，直接上采样的方法都不如所提方法。

综上所述，整体性对比实验中，模态尺度融合的语音分离方法在分离性能上获得了不错的表现，验证了方法的有效性。

针对模态尺度融合方法和双尺度时序卷积，设计了对应的消融实验，其中每个模型只保留了一种改进方法，实验结果如 表3 所示。

双尺度扩张卷积模型在两类数据集上都优于单模态模型1，证明在分离模块中融入多个尺度可以提高基线模型Conv-TasNet的分离性能，同时提高了分离鲁棒性。在只保留模态尺度匹配的方法中，性能优于两类单模态模型，验证了多模态方法的有效性，且在干净背景声数据集中优于的视听对比模型。

为了进一步验证语音分离的性能和有效性，可视化模型分离效果，从干净环境测试集中随机选取混合音频作为实验样本，重构出A说话人和B说话人的单人语音，其中音频内容包含六个单词和字母的随机组合，分别是“bwbq9p”和“bbib9p”。 图4 和 图5 分别展示了说话人原始语音和模型分离后的语音在时域波形和频谱图上的对比，并标注了部分重建前后的波形差异。从波形数据看，分离后的语音与说话人的原始语音数据差距极小，验证了方法的有效性。同时，模型也对语音数据中包含的背景声进行了重建，基本还原了说话人在录制时保留的微弱背景声音。频域谱图的对比可以更直观地比较分离前后的语音差异，如分离后的频率分量仍会受到另外一个说话人的影响。

图4. A说话人分离语音波形。(a) A说话人分离语音波形；(b) A说话人原始语音波形；(c) A说话人分离频域谱图；(d) A说话人原始频域谱图

图5. B说话人分离语音波形。(a) B说话人分离语音波形；(b) B说话人原始语音波形；(c) B说话人分离频域谱图；(d) B说话人原始频域谱图

目前，深度学习的可解释性分析主要针对视觉领域，如基于类激活图CAM (Class Activation Mapping) [31] 。CAM在特征上绘制热力图，解释模型在执行任务过程中的重点关注区域。图像分类模型常把最后的概率输出层作为分析重点，通过梯度计算或类别概率计算隐藏层中多个图像特征的重要性 [32] ，有助于理解神经网络学习的偏好。而语音分离模型是利用输出音频和标签之间的距离优化性能，本质上是回归问题，且目前缺乏对深度学习语音分离的可解释性分析。因此，借鉴视觉领域的可解释性分析方法，可对模型中的特征图进行可视化分析，研究模型对语音信息的学习能力。

作为解释性分析的主要对象，分类模型通过全连接层与概率激活函数的输出可以反向推理不同类别概率的权重分布，分析多个通道的图像数据影响。语音分离与图形分类任务在模型结果的产生方式上存在差异，无法通过网络层末端的全连接层映射到数据的标签类别，所以难以从概率分布的角度逆推掩蔽特征各区域对分离的贡献。图像分类可解释性分析的另一种方法是通过滑动遮罩掩盖图像中的原始数据，计算不同区域被掩盖后的分类准确性，作为该图像区域对模型性能影响的依据。采用尺度不变信噪比评价标准可以量化模型分离性能的表现，且模型特征图的二维属性可以视为视觉领域的图像信息，描述不同区域的人声分量。利用特征的信息描述质量与语音分离性能的相关性，可以类比图像特征对分类或识别任务的影响。

基于上述分析，设计的遮罩特征尺寸与特征图尺寸一致且包含局部全零的滑动方块，其余值为1。特征图与遮罩特征相乘后，部分区域的数据清零，其他区域保持不变，模拟该区域不包含任何人声数据。遮罩特征中的全零方块为固定尺度32的正方形区域，每次滑动的步长为32。方块滑动的顺序从遮罩左上方开始按照行优先的顺序，并在每一次滑动后计算分离模型的尺度不变信噪比指标。获得特征图各区域清零后的数据可以绘制成二维的数据等高线图，建立模型对声音特征关注区域的可视化分析。

分离模块中的堆叠时序卷积块是构建掩蔽矩阵的关键网络机构。分析每个卷积块对分离性能的贡献可进一步解释所提方法对人声信号的学习，有助于后续语音分离网络结构的设计和优化。基于可解释性方法，依次对分离模块的24个时序卷积进行遮罩处理，同时计算时序卷积块的跳跃输出和残差输出，并拼接所有卷积块的等高线图。为了分析不同训练时期的分离模块，对最优模型和第一次训练周期下的模型进行计算。绘制结果如 图6 和 图7 所示。

为了更好地表达数据差异，尺度不变信噪比以负值的形式存储。如果掩蔽部分区域内的数值清零后，模型的指标变化不大，说明该区域不是模型参数关注的区域。模型指标越大的区域表明与模型性能的相关性越高，是模型分离模块中参数学习关键区域。堆叠时序卷积块通道数是通过遮罩计算后依次拼接的时序卷积通道，且在时序尺度上描述了混合语音特征的人声区域。可以看出第一次训练周期模型的所有卷积块对语音分离模型性能的影响相对一致，而通过多次迭代后的最优模型分离模块则偏向于靠前的时序卷积，说明接近语音原始特征的时序卷积能逐步学习更关键的人声信息。

通过分析消融实验模型和直接上采样融合模型的分离模块。可以研究模态融合机制和双尺度时序卷积对模型的影响，使用可解释性分析方法绘制两种消融模型的分离模块关注图，如 图8~图10 所示。

结合五张分离模型关注图可以得出，训练好的网络更关注早期的堆叠时序卷积块。后续的时序卷积虽然获取了更高维的语音特征，但对模型性能的影响逐渐减小，且冗余的网络参数容易引起模型过拟合，可以用于解释网络结构的设计中，时序卷积块堆叠数量过多造成的性能下降的问题。多模态的融合特征

促进了早期时序卷积块的学习，加速了模型收敛的同时，也提高了模型的分离性能。从融合机制上看，充分利用模态特征的融合方法有助于分离模块提取语音的关键人声特征。