本文在人体动作描述采用关键骨骼点的深度三维坐标，通过各个关节点的位置坐标关系来描述人体动作。进一步为每一类人体动作训练一个深度信息隐马尔科夫模型，从一定程度上解决了人体动作部分遮挡问题，对训练样本，参照得到的数据库完成编码，通过隐马尔科夫模型训练得到相应参数模型，通过训练得到的模型进行验证和测试，实验数据结果表明该方法具有精确率高的优点。

动作识别，隐马尔科夫模型，骨骼

Longfei Sui¹, Huanhuan Xue², Zhengkui Weng¹

¹Jiaxing Vocational and Technical College, Jiaxing Zhejiang

²Jiaxing Nanhu University, Jiaxing Zhejiang

Received: Jan. 20^th, 2022; accepted: Feb. 16^th, 2022; published: Feb. 23^rd, 2022

In this paper, the depth three-dimensional coordinates of key bone points are used in the description of human action, and the human action is described through the position coordinate relationship of each joint point. Further, a depth information hidden Markov model is trained for each kind of human action, which solves the problem of partial occlusion of human action to a certain extent. The training samples are encoded with reference to the obtained database, the corresponding parameter model is obtained through hidden Markov model training, and the model obtained through training is verified and tested. The experimental results show that this method has the advantage of high accuracy.

Keywords:Motion Recognition, Hidden Markov Model, Bones

Copyright © 2022 by author(s) and beplay安卓登录

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

人体动作识别一直是计算机视觉、人工智能和模式识别等热门研究方向 [ 1 ]，在人体动作识别的研究中，需要准确地将人体动作信息通过技术手段转换成能够精确运算和分析的数据，通过程序让计算机处理这些数据，这些数据的获得就需要大量的人体动作数据作为支撑。传统的人体动作识别技术应用OI。LSTM神经网络分析算法、深度学习方法、CNN算法等建立模型 [ 2 ]，但在建立人体模型和程序算法的过程中，运算准确率并不理想，错误率较高。新加坡国立大学的Shi Yuan Tang等设计了一种可穿戴步态辅助系统。该系统通过脚腕佩戴力敏电阻来记录行走过程中的步态信息数据，然后使用神经网络进行步态数据建模，对步态数据进行分析和处理，最终结果表明两种模型的验证精度均达到了80% [ 3 ]，在融合多种数据进行识别方面，毛峡等 [ 4 ] 提出一种基于RGB和骨骼信息的多模态人体行为识别框架。识别率依然不是很高，还有很大的提升空间。微软的Kinect深度相机的上市，使研究人员低成本获取视频中人体各关节点三维坐标信息和场景深度信息等 [ 5 ] [ 6 ]，人体骨骼中关节的层次结构和不同语义角色为动作识别提供了重要信息 [ 7 ] [ 8 ]。基于此本文提出了一种基于骨骼三维信息结合隐马尔科夫模型人体动作识别方法，通过此方法来改进以上人体动作识别率低的问题。

人体在完成某一些动作时，身体的各个关节空间坐标位置会发生一定的变化。本文使用Kinect深度相机获取人体骨骼关节点三维坐标作为实验特征变量，利用关节点在不同动作位置变化来提取有用的动作特征，以各关节点三维坐标的平均值作为坐标原点，获取骨骼关节点在三维坐标系中的变化，从而得到骨骼关节点空间位置特征。如图1所示本文获取20个人体骨骼。

首先获取坐标原点 M 0 = ( X 0 , Y 0 , Z 0 ) ，人体20个骨骼关节点的三维坐标的平均值即是坐标原点 X 0 = ( X 1 + X 2 + ⋯ + X n ) / 20 ， Y 0 = ( Y 1 + Y 2 + ⋯ + Y n ) / 20 ， Z 0 = ( Z 1 + Z 2 + ⋯ + Z n ) / 20 ， M = M i − M 0 ( i = 1 , 2 , ⋯ , 20 ) ，M_i代表第i个骨骼点的三维坐标，M₀代表的是坐标原点。20个关节点在X、Y、Z轴的变化量为 M X t = [ Δ X 1 t , Δ X 2 t , ⋯ , Δ X 20 t ] ， M Y t = [ Δ Y 1 t , Δ Y 2 t , ⋯ , Δ Y 20 t ] ， M Z t = [ Δ Z 1 t , Δ Z 2 t , ⋯ , Δ Z 20 t ] 。 M t = [ M x t , M y t , M z t ] 表示第t贞的特征向量。如果人体动作包含N贞 M = [ M 1 , M 2 , M 3 , ⋯ , M N ] ，则每一帧得到的骨骼关节点向量的维度是20 × 60。为了减少人体高矮胖瘦对实验的影响，对特征向量进归一化，同时除以头部 M 1 到坐标原点 M 0 的距离 M → = M 1 − M 0 。

图1. 人体骨骼三维图

根据形成的骨架模型库，从视频中获得骨架三维信息，在实验中将训练视频提取出骨架之后，根据骨架信息库对其进行分类，从而获得骨架相应编号，这样就将人体动作的序列变成了可以使用隐马尔科夫模型性对应的观测值序列表示。

每个动作的隐马尔科夫模型由5各参数确定：

1) S = { S 1 , S 2 , ⋯ , S i , ⋯ , S n } 代表模型的隐状态数，可以理解为动作的特征的动作数。

2) O = { O 1 , O 2 , ⋯ , O i , ⋯ , O m } 观测值，代表骨架信息的种类数。

3) A = | S j i | n × n 是隐马尔可夫模型各隐状态之间的概率转换矩阵。

4) B = | S i O j | n × m 是隐马尔可夫模型隐状态到观测状态之间的概率转换矩阵。

5) π = { π 1 , π 2 , ⋯ , π i , ⋯ , π n } 为隐状态的初始概率矩阵。

从骨架信息库中得到的观测序列的编号，经过训练更新HMM与样本序列对应的初始参数，这就是HMM对这个动作的基本描述，待识别的动作序列，经过得到的动作编号序列，可通过个续联的模型，就是更新之后的HMM新参数，来完成每个模型的匹配值计算。

通过EM算法，重复迭代完成模型的训练。主要包括以下4个步骤。

1) 初始化参数：选定合适的隐状态个数 S = { S 1 , S 2 , ⋯ , S i , ⋯ , S n } ，根据骨架信息库确定观测序列 O = { O 1 , O 2 , ⋯ , O i , ⋯ , O m } ，随机生成 λ = ( A , B , π ) 。

2) 确定迭代次数，通常迭代次数可取10次左右。

3) 当前模型相关概率的计算：按照状态 i t 的观测概率分布 b i t ( k ) 生成 o t ，按照状态 i t 的状态转移概率分布 { a i t i t + 1 } 生成状态 i t + 1 ， i t + 1 = 1 , 2 , 3 , ⋯ , 20 。

4) 初始化概率分布矩阵： π = { π 1 , π 2 , ⋯ , π i , ⋯ , π n } 。

HMM的评估问题利用前向或者后向概率计算方法来解决，前向概率计算由前向算法公式递归关系计算，后向概率计算由后向算法公式递归关系计算。

前向算法：

1) 初始值：

a 1 ( i ) = π i b i ( o 1 )

2) 递归对 t = 1 , 2 , ⋯ , T − 1

a t + 1 ( i ) = [ ∑ j = 1 N a t ( j ) a j i ] b i ( o t + 1 ) ,     i = 1 , 2 , ⋯ , N

3) 终止

P ( O | λ ) = ∑ i = 1 N a T ( i )

基于关键骨骼点深度三维坐标和隐马尔科夫模型提出了一种新的人体动作识别算法，对不同用户的5种基本生活动作可达到96%的识别率，是一种可靠的人体动作识别方案，该方法可以用于智能监控识别系统，为公安系统提供人员动作数据，降低犯罪率。

浙江省教育厅，校企合作访问工程师项目，FG2020272，基于多模块融合的人体异常行为智能识别技术研究；浙江省自然科学基金委员会，公益技术研究计划，LGF21F020007，智能视频监控中基于情境感知和多模态的人体异常行为识别技术研究。

隋龙飞,薛欢欢,翁政魁. 基于骨骼三维信息结合隐马尔科夫模型人体动作识别方法Human Motion Recognition Method Based on Bone 3D Information Combined with Hidden Markov Model[J]. 计算机科学与应用, 2022, 12(02): 448-454. https://doi.org/10.12677/CSA.2022.122045