时空特征提取。为了从视频中学习时间特征，我们遵循 [ 35 ] 采用LSTM单元对输入视频中采样的L个关键帧 I = { I i | i = 1 , 2 , ⋯ , L } 进行处理，来生成具有时间社会关系的特征序列，表示为 X t = { x t i | 1 , 2 , ⋯ , L } 。然后，将这些时空特征展平并连接起来以形成单个特征向量。

语义对象特征提取。使用预先训练的检测器捕获整个视频中的语义对象区域，并从相应的语义对象中提取特征，我们使用Faster R-CNN [ 36 ] 检测器从采样的视频帧中检测视频中的人和物体对象 P = { p i } , i = 1 , 2 , ⋯ , N 和 O = { o j } , j = 1 , 2 , ⋯ , M ，该检测器是在COCO [ 37 ] 数据集上训练的。COCO数据集是一种用于目标检测的大型数据集，涵盖了我们日常生活中经常出现的80个目标类别，用于从视频中收集语义对象。Faster R-CNN使用区域建议网络(RPN)处理输入关键帧I，生成一组具有高评分语义对象的区域建议。将检测到的置信度高于阈值ε的上下文区域 O I = { O I j | j = 1 , 2 , ⋯ , C } 作为语义对象，其中C表示检测到的类别。为了平衡准确性和效率，我们通过置信度得分将每个视频帧固定为N个人和M个目标对象。每个边界框的外观特征由VGG [ 38 ] 网络来提取的。这些边界框被用作构建人-物图模型的节点，而每个结点的特征将在图卷积中用于社会关系推理。

图形模型可以有效地表示空间视觉内容中对象的时间、空间、概念或者相似性关系 [ 19 ] [ 23 ]，为了捕获视频中不同人之间的交互和探究人物和上下文对象之间的互动，我们构建一个人–物图模型 G = ( V , E ) 来表示人际之间的交互和人与上下文对象之间的共存,其中 V = ( P , O ) 是我们场景中的人和目标对象节点，用不同的颜色表示，E表示节点之间的关系边。

对于建模人与人之间的交互，我们通过估计视频帧及其相邻帧中人的距离来构建图模型。对于人际之间的邻接矩阵 A p − p ∈ R N ∗ N ，如果人节点 P i 和 P j 是属于同一帧的，我们直接设置 A p − p ( p i , p j ) = 1 。如果人节点 P i 和 P j 属于相邻帧，我们设置

A p − p ( p i , p j ) = { 1       d i s t ( p i , p j ) ≥ τ 0           othersize (1)

其中 d i s t ( p i , p j ) = 1 − f ( p i ) τ f ( p j ) ‖ f ( p i ) ‖ ⋅ ‖ f ( p j ) ‖ 是人节点 P i 和 P j 之间的余弦距离，τ是我们设置的超参数。

同样，场景中的上下文对象是社交关系识别的重要信息，为了捕获视频中人物和上下文对象之间的互动。我们通过估计人物和上下文对象在视频帧中的共存来构建图模型。对于人和物之间的邻接矩阵 A p − o ∈ R ( N + M ) ∗ ( N + M ) ，如果 P i 和 O j 来自同一帧，则设置 A p − o ( p i , o j ) = 1 ，否则设置 A p − o ( p i , o j ) = 0 ，公式如下：

A p − o ( p i , o j ) = { 1             ∩ ( p i , o j ) 0           othersize (2)

其中 ∩ ( p i , o j ) 表示 P i 和 O j 来自同一个视频帧。为了方便我们更加直观的进行图推理，我们把人际交互图和人物共存图整合在一个图上，如图2所示。

图2. 人–物图模型结构

图卷积网络(GCN)通过在图中从节点到其邻居进行消息传播来进行关系推理 [ 20 ]。因此，我们可以在人–物图模型中应用GCN来实现视频帧中的社会关系推理。给定一个有N人个节点的图，其中每个节点都有一个d长度的特征向量，一个图卷积层的运算可以表示为

X ( l + 1 ) = σ ( D ˜ − 1 2 A ˜ D ˜ − 1 2 X ( l ) W ( l ) ) (3)

其中 A ˜ ∈ R N * N 是人–物关系图的邻接矩阵， D ˜ ∈ R N * N 是 A ˜ ∈ R N * N 的度矩阵， X ( l ) ∈ R N ∗ d 是第 ( l − 1 ) 的输出结果， W ( L ) ∈ R d ∗ d 为可学习参数矩阵， σ ( • ) 是一个类似ReLU的非线性激活函数。特别说明，在我们的社会关系推理模型中，上式中的邻接矩阵为我们在3.2节中定义的 A p − p 和 A p − o 。邻接矩阵的索引是按照视频中节点的时间顺序排列的，通过这个顺序，时间信息被隐式地嵌入到构建的图中。初始特征矩阵可表示为 X ( 0 ) = [ x p ( i ) | i = 1 , 2 , ⋯ , N ; x o ( j ) | j = 1 , 2 , ⋯ , M ] T ，其中 x p ( i ) 和 x o ( j ) 是从视频中人和物体对象节点中提取的特征向量。GCNs的最终输出是图中节点的更新特征，这些特征可以聚合成视频级的特征向量用于社会关系预测。

GCN在一幅图中的所有节点上以及视频的整个时间范围上执行操作，这意味着GCN可以在时间域捕获全局视图。然而，社会关系识别的关键因素(如一个人的特定行为)可能出现在被不重要信息淹没的局部时间位置。因此，我们设计了一个多尺度图卷积网络(MSGCN)，通过不同的时间感受野来学习长期和短期信息。如图3所示为我们的多尺度卷积网络的一个块结构，每个块包含具有不同感受野的多个平行分支。Scale 1是标准GCN，它在整个相邻矩阵上执行图卷积并覆盖图中的所有节点。Scale 2给出了具有较小时间感受野的图卷积的示例，而Scale k是更一般的说明。对于每个Scale，所有滑动窗口的激活都汇总到一个特征矩阵中，该特征矩阵的形状与标准GCN的输出相同。通过沿着相邻矩阵的对角线滑动感受野，模型可以学习从视频的开始到结束的短期特征。最后，对多个尺度的输出进行平均池化合并，以生成下一个MSGCN层的特征矩阵X^(l+1)。经过多次交互后，节点消息已经通过图进行传播，我们可以得到每个节点最终的状态为

Y = { y 1 , y 2 , ⋯ , y N + M } (4)

图3. 具有多尺度感受野的图卷积块

计算每个节点的特征后，我们可以直接将它们通过MSGCN聚合起来进行关系识别。然而，在不同的视频场景中，语义对象对区分关系的贡献并不相同。为了解决这一问题，我们引入了一种新的注意力机制，根据图形结构和视频特征自适应地推理出最相关的上下文对象。对于每一个社会关系和邻居对象对，该机制将它们的场景外观特征作为输入，并计算出这个对象对关系的重要性。我们首先将每个图中对象节点的外观特征和视频时空特征结合成一个向量 h i , j ∈ R d ∗ d

h i , j = R E L U ( x o + w t ⊗ x t ) (5)

其中 w t ∈ R d ∗ d 是一个权重矩阵， ⊗ 表示按矩阵元素相乘。

然后，我们通过sigmoid函数来计算每一个对象节点的注意力系数 a i , j ∈ [ 0 , 1 ] ，

a i , j = 1 1 + exp ( − ( W h , a h i , j + b a ) ) (6)

其中 W h , a ∈ R 1 ∗ k 是一个权重矩阵，根据节点j对节点i的重要性的不同，可将每个特征转换为可用的表达性更强的特征， b a 是一个偏置项。

对于关系 r i ，我们将其自人物节点的特征与上下文对象节点的加权特征向量连接起来作为其最终特征，

f i = [ y r i , a i 1 y o 1 , a y i 2 o 2 , ⋯ , a i M y i M ] (7)

然后由最后一层fc层对特征向量进行处理，生成关系得分：

s i = W f i + b (8)

表示视频场景具有社会关系 r i 的可能性。对所有关系节点重复此过程，计算得分向量 s = { s 1 , s 2 , ⋯ , s N } 。

整个网络通过交叉熵损失与地面真实标签 s ^ 一起训练，

F l o s s ( s ^ , s ) = ∑ i = 1 N s ^ i ∗ log ( s i ) + ( 1 − s ^ i ) ∗ log ( 1 − s i ) (9)

其中s是预测的类别概率。

SRIV数据集：本文使用的数据集来自于电影和电视剧，名为SRIV [ 8 ]。SRIV是第一个从视频中识别社会关系的视频数据集。它包含3124个带有多标签的视频，大约25个小时，这些视频来自69部电视剧和电影。数据集包含Sub-Relation和Obj-Relation类，其中包括16个子类，如表1所示。

在特征提取模块，从视频中随机采样的关键帧L的数量设置为128。类似于 [ 11 ]，我们利用广泛使用的ResNet-101 [ 34 ] 提取关键帧的特征，得出的特征向量为2048维。对于语义对象区域，我们使用VGG-16 [ 38 ] 提取特征，从而得到4096维的特征向量。通常用于指导目标检测的阈值为0.5，而此处语义对象检测的结果将很大程度影响人–物关系图中的特征交互，所以我们的阈值ε提高为0.7，以获取更加准确的检测对象。在整个训练期间，除了MSGCN外，我们模型的所有组件使用SGD优化，MSGCN使用ADAM优化。对于SRIV数据集，学习率lr从0.01开始，每20个epochs乘以0.1，直到训练完80个epochs。

本文采用四个评价标准来评价我们所提出的方法的性能。

表1. SRIV上每种类别的统计数量

F₁_micro和F₁_macro这两个评估基于是 F 1 分数的标签评估，第i类的 F 1 表示为

F i ( i ) = 2 ∗ T P ( i ) / ( 2 ∗ T P ( i ) + F P ( i ) + F N ( i ) ) (10)

其中TP(i)、FP(i)、FP(i)、FN(i)分别为第i类的正阳性、假阳性、真阴性、假阳性的个数，因此， F 1 _ micro 和 F 1 _ macro 的计算公式如下

F 1 _ macro = 1 C ∑ i = 1 C F 1 ( i ) (11)

F 1 _ micro = 2 ∗ ∑ i = 1 C T P ( i ) / ( 2 ∗ ∑ i = 1 C T P ( i ) + ∑ i = 1 C F P ( i ) + ∑ i = 1 C F N ( i ) ) (12)

其中C为类别数。

Accuracy 我们采用了Zhang等 [ 12 ] 提出的平衡精度，与以往的accuracy计算有所区别，我们充分考虑了样本数据中的不平衡性，使得最终的预测更符合实际结果，具体计算公式如下：

Accuracy = 1 2 ( T P N p + T N N n ) (13)

其中N_p和N_n为阳性阴性样本数。

Subset Accuracy 由于我们的sub-relation类为主观感知的，分类标准更加严格细致，要求预测的标签集与样本真实标签集完全匹配，避免标签集中相似的标签干扰最终的预测，其具体公式如下：

Subaccuracy ( s i ) = 1 n ∑ i = 1 n I ( s i = s ^ i ) (14)

这里我们探究了我们对尺度图模型中不同模块的效果，实验结果如表2所示。从结果中我们发现，MSGRM的整体准确率要高于GCN，这表明多尺度感受野能够从长期和短期范围捕捉到有用的特征。此外，在有Attention模块辅助下的实验结果要高于没有Attention模块的结果，这说明注意力模块可以关注与社会关系识别相关的关键帧。

表2. 不同功能模块的效果

为了验证所提出的多尺度图推理模型框架的有效性，我们在SRIV数据集上与几种最先进的方法进行了比较，实验结果如表3、表4所示。具体方法如下：

表3. Sub-relation类上不同方法的性能

表4. Obj-relation类上不同方法的性能

C3D [ 39 ]：提出了一种基于3D卷积的网络结构，该网络结构在视频特征提取中具有良好的性能。

LSTM [ 39 ]：基本的LSTM模型是一种流行的序列建模技术，具有各种改进。

TSN [ 16 ]：TSN是一种典型的双流CNN网络，在许多视频分类数据集上都取得了最先进的性能。

Multi-stream [ 8 ]：使用代表社会关系的多个特征来提高识别性能。

STMV [ 35 ]：基于多视角(即RGB，光流和面部)的融合模型，使用多个注意力单元来学习时空信息以进行社会关系理解。

TSM [ 41 ]：将语义对象提取、上下文交互和注意机制相结合的模型。

ASRN [ 42 ]：一种端到端的可训练模型，融合了多角度特征，如图像、运动、身体、人脸。

MSGRM (Ours)：这是我们所提出的多尺度图推理模型，它采用MSGCN学习场景中人物的多尺度动态，并融合了场景的时空注意力，实现社会关系推理。

表3和4显示了我们的模型与最先进的方法比较的结果。我们的MSGRM达到了比较领先的性能。这是因为通过不同尺度的图模型，学习了场景中不同感受野的信息，提取了视频中的关键序列特征，最后融合我们的时空注意力，促进了我们的社会关系识别。C3D、LSTM和TSN的性能很差，这表明这些方法虽然可以更好地描述视频的其他一些特征，但却无法提取社会关系的正确表示。Multi-stream和STMV都只关注视频的时空特征，因此很难获得更好的性能。TSM和ASRN因为融合了场景中的各个角度的特征，这些特征很大程度上能表示场景的社会关系，所以性能有很大提升。

注意力机制能为我们的多尺度图推理模型推理出最相关的上下文语义对象，如图4给出一些实例。图中左边为我们的原始采样帧，中间为我们的注意力机制生成的一系列热图，右边为我们的热图所对象的语义对象边界框。特征图显示了我们的注意力机制能过准确的捕获场景中重要的语义对象，因此能够进行有效的人–物特征交互，以提升社会关系识别的准确性。

图4. 场景注意力可视化实例