Face Recognition Algorithm Based on Balanced Local Pattern and DOG Multi-Scale Fusion
In order to solve the problem that local binary pattern and local graph structure methods lack sufficient feature expression ability because of the unbalanced extraction method, and the limitation that only using local features can’t fully describe face information, this paper proposes a method called Face recognition based on DOG multi-scale fusion of Balanced Local Pattern. Firstly, in view of the shortcomings of LBP and LGS, on the basis of balanced optimization by using double-circle cross-sampling, adaptive threshold based on local macro information, and a center-symmetric sampling graph structure, this paper proposes Extended Cross Local Binary Pattern and Four-angle star Local Graph Structure methods with variable parameters, which are collectively called Balanced Local Pattern, which can enhance the extraction of key feature information. Then, the DOG pyramid generated by the Gaussian kernel and image difference is fused with the balanced local pattern method. The supplemented multi-scale feature map enriches the sample information while achieving the fusion of large-scale global contours and small-scale local details, which can further capture inter-class and intra-class difference characteristics. Finally, the comprehensive and accurate feature vector is obtained by weighted cascading the sub-block histograms of all feature map, and the nearest neighbor classifier is used to complete the recognition. The subjective and objective comparison of feature map and histogram theoretically verifies that the balanced local pattern can obtain local features with richer information and stronger discrimination. On the ORL, AR and LFW datasets, the proposed method is compared with the relevant typical methods, and the results on the ORL, AR and LFW databases show that the recognition rate of Balanced Local patterns is improved by up to 15.52% when the time consumption is the same as that of typical methods; after further integration of DOG pyramid, the recognition rate is increased by up to 9.24% again. The experimental results show that compared with the existing typical extraction methods, the balanced local pattern features have stronger representation ability and robustness, and the multi-scale information further enhances the feature performance, especially in the small sample environment, when the sample information is limited, the advantage of the whole algorithm is more obvious.
Local Binary Patter
人脸识别是一种通过对人脸图像的关键信息提取从而估计出待识别人脸身份的计算机视觉技术,已广泛应用于金融、医疗、安检等多个领域。人脸图像的动态变化和无约束环境的多重干扰,使得人脸识别在应用中面临巨大的挑战
LBP
此外,在实际运用中,训练样本通常会很少,甚至只有单张样本,只用局部特征提取方法常常会忽略了其他有效人脸特征。由于局部特征提取方法一般只是单纯提取局部特征,获得的人脸信息比较片面,容易导致算法出现性能瓶颈,尤其当样本不足时,这种劣势将会体现的更加明显。除局部特征外,在不同尺度下得到的人脸特征也大不相同,在单一尺度提取特征必然会损失其他尺度的人脸信息。高斯差分(Difference of Gaussian, DOG)金字塔
基于上述分析,提出基于均衡局部模式的DOG多尺度融合金字塔人脸识别算法,以有效增强对人脸特征的利用。算法首先针对LBP、LGS的不足,在局部采样和模式编码过程均衡优化,提出两种可变参的改进特征提取方法:延展交叉型局部二值模式(Extended Cross Local Binary Pattern, ECLBP)和四星型局部图形结构(Four-angle star Local Graph Structure, FLGS),由于两种改进方法的启发思路都是尽可能从均衡提取信息的角度来改善算法性能,因此合称为均衡局部模式。具体来说,ECLBP利用了均衡的双圆交叉采样和以局部宏观信息为参考的自适应阈值在丰富采样信息的同时增强了编码的抗干扰能力和纹理描述能力,FLGS方法通过精心设计的类似四角星的中心对称拓扑图结构,均衡记录了水平与竖直多个方向的空间结构信息,并且两种方法都设置了可调整的参数以灵活记录不同纹理信息。在利用均衡局部模式快速获得具有更强表征能力的局部特征后,进一步将高斯核及图像差分生成的DOG金字塔与均衡局部模式方法融合。级联的多尺度特征图在扩充人脸样本同时将大尺度全局轮廓和小尺度局部细节融合,更利于区分人脸的类间及类内差异,在复杂的人脸识别环境中进一步增强特征的判别性,并提高鲁棒性。最后利用信息熵加权,串接各个特征图所有子块的直方图实现特征融合,获得包含多方面信息的特征向量,采用卡方距离实现相似性判别后,利用最近邻分类器估计出人脸身份,完成识别。
LBP方法基于简单的邻域像素与中心像素的比较记录整体微纹纹理,LGS方法利用图论知识记录局部图像的内部联系。两种方法各有不同,但都可以快速的挖掘局部特征的关键信息,有极大的研究价值。而DOG金字塔在扩充样本的同时补充多尺度信息,弥补了单纯局部特征在描述人脸信息不够全面的局限性。由于所提算法以LBP类、LGS类方法及DOG金字塔模型为基础改进实现特征增强,因此本节进一步作了更加详细的介绍及相关的理论分析,为后续的算法改进作理论铺垫。
在计算机视觉方向,局部二值模式(LBP)最初在纹理分类中被提出。由于其强大的纹理描述能力、对光照等变化良好的抗干扰性、极快的计算速度等一系列优点,这使得它很快被应用于指纹识别、光学字符识别、人脸识别及车牌识别等重要领域。
原始LBP算子的核心思路是:在一个正方形邻域范围,选取中心点的像素灰度值为阈值,将相邻点像素与阈值比较,如果附近点的像素比中心像素大就记为1,否则记为0。经过采样邻域点的遍历统计后,就可以得到8位的二进制编码串,转化为十进制后替代中心像素值作为该局部区域的LBP特征值。以3 × 3邻域为例的编码过程如
需要注意的是,
从
获得变体LBP特征的计算公式为:
(1)
(2)
公式(1)和公式(2)中, 是固定阈值,即中心点的灰度值, 是在以中心点为圆心,半径为R的圆形邻域上采样点的灰度值,如果采样点与真实像素点不完全匹配时,则通过双线性插值方式拟合。N是采样点的个数, 是编码值,由于采样点N和邻域半径R的可选性,这种改进使得它在面对不同尺度的图像时,描述纹理更加灵活。
另外,参考
与LBP通过单个点的参考阈值来产生编码的方式不同,LGS根据图论直接利用像素点之间的关系来编码局部特征。LGS背后的灵感在于:人脸图像可以被认为是子图模式的组合,这些子图模式相对于单调灰度变化是不变的。结合这些图案,可以获得面部图像的整体描述。具体的实施过程在
如
(3)
式中, 和 代表相邻两个像素点后一个点与前一个点的灰度值, 代表加权序列的分配顺序。 的计算方式同公式(2)一致。
从
尽管LGS拥有诸多优点,但是它依然存在很多缺陷。第一,LGS是左右不对称的,其目标像素处于中心偏左,如果去掉目标像素,左边和右边子图的采样点数目分别为2和3,这使得它在提取特征时更偏向右侧信息,这种不均衡的提取方式不利于整体信息的准确表征。由于其图结构路径中与目标像素发生联系的有3个点(
同LGS类似,ESLGS从目标像素(
在图像处理中,只有在一定尺度,物体的图像结构才能被客观感知。并且,在不同尺度下,物体表现的特征也不尽相同,在一种尺度下难以发现的特征在其他尺度下可能被轻松发掘。在人脸识别中,大尺度和小尺度的图像分别反应了整体轮廓和局部细节的人脸特征,如果在单一尺度下提取特征必然会损失其他尺度的信息。因此,想要全面准确的描述人脸属性,对图像的多尺度表达就显得尤为必要。
如
DOG金子塔在高斯金字塔基础上发展而来,思路是在获得一系列连续尺度的差分图像后综合获得多尺度空间下的图像特征。其构建过程如
在建立高斯金字塔之前,通常将图像先扩大一倍,然后进行一系列高斯模糊处理以获得连续尺度变化的多尺度图像
(4)
(5)
式中, 是尺度空间因子,该值越大图像被模糊的就越严重,尺度就越大。 是被模糊后的图像。
对于同一组的图像,主要变化在于模糊程度不同,也就是
的变化,以第一组(Octave 1)的图像为例,
的变化为:
,相邻两张图像
为k倍的关系,通过对k的控制可以获得有不同间隔尺度的多尺度图像。为保证尺度的连续性,下一组第一张图像(如
建立好高斯金子塔后,如
(6)
(7)
(8)
其中,
是高斯差分图像,它是对不同尺度的高斯模糊图像作差得到,其生成方式在
为了直观的感受DOG金字塔不同图像的差异,
在对局部特征提取时,有两个非常关键的步骤:局部采样和模式编码。局部采样决定着采样信息的丰富程度,而模式编码则决定着从采样信息中得到的编码特征判别性及鲁棒性的强弱,两者相辅相成。LBP在单个圆和固定领域提取特征,LGS利用非对称的图结构偏向于提取水平方向特征,它们这种偏向性的提取方式使得它们的抗噪性能和描述能力都受到很大局限。从前文对它们的分析表明,在编码和采样之初尽量无偏向地均衡提取人脸信息,可以显著改善算法的抗干扰能力和信息表征能力。立足于这一点,我们综合优化了局部采样和模式编码过程,提出改进方法。具体而言,我们使用均衡的优化策略,分别针对经典的LBP与LGS方法作了改进,分别提出ECLBP和FLGS。由于本文的启发思路是尽可能从均衡提取信息的角度来改善算法性能,因此将ECLBP与FLGS合称为:均衡局部模式。
通过2.1节对LBP方法及其改进方法的分析发现,以固定阈值为参考,一旦有噪声等干扰,LBP编码可能全部改变,这对于关键特征的稳定提取是极为不利的。另外,LBP在固定半径的单个圆上采样无法像LGS一样获得更大空间结构的局部信息。针对这些局限,本文从局部采样和编码阈值两方面同时改进,提出ECLBP方法,以更均衡的方式有效捕获更关键的局部特征。编码过程如
在得到ECLBP编码之前,首先需要计算自适应阈值。为了增强编码的多方面性能,ECLBP利用局部图像的整体宏观信息得到自适应阈值 :
(9)
当
,
,采样点空间分布如
(10)
结合
参考
与此同时,由于LBP和ECLBP在阈值选择的区别,这也使得它们在编码图像纹理时存在较大差别,为了说明这一点,
另外,从采样上来看,尽管
LGS方法利用有向图表征图像更宽泛的空间结构关系,但非对称的图结构和仅在水平方向提取信息的方式不利于其抗干扰能力和纹理描述能力的进一步提高。通过分析发现,ESLGS针对LGS的一些缺点,通过重新设计的对称、宽广的图形结构帮助ESLGS取得了多方面的性能提升,这表明更均衡的图形设计对于方法的成功至关重要。然而,LGS及ESLGS依然缺失对竖直方向信息的提取,由于实际上人脸纹理是多方向的,这势必会导致部分人脸特征的丢失。这种偏重于水平信息的策略很可能造成信息的不均衡提取,容易导致核心特征丢失。此外,无论是LGS还是ESLGS其采样点都为固定位置,不利于人脸特征的灵活编码。基于这些考虑,本文综合LGS类方法的优缺点提出FLGS,利用中心对称的可调整四角星型图形结构均衡获得多方向纹理信息,充分捕捉人脸特征。具体的示例如
FLGS根据目标像素(
为了综合对比FLGS与ESLGS,
另外,从
为了补充不同尺度空间的人脸特征以全面描述人脸信息,本文进一步将均衡局部模式与DOG金字塔结合,通过直方图特征级联以融合多尺度特征。其中直方图参数bin代表统计时将灰度分布平分为多少个区间。由于灰度图像素值在[0, 255]区间分布,因此若bin = 256时则代表将区间[0, 255]平分为256段,每一段区间跨度为1。bin数越大统计越精细,但维数也会增加,设置bin时应根据具体需要确定。另外考虑到金字塔层数越大,图像越多,提取时间与特征维数都会大幅增加。为了尽可能平衡好时间耗费与识别精度,通过初步实验,设 ,选择DOG金字塔层数为3,每一层包含一张差分图像,以在保留多尺度特征时减少时间耗费。
具体的融合步骤如
(1) 首先对灰度图利用均衡局部模式(FLGS或ECLBP)进行特征提取获得原人脸的编码特征图,分块统计后获得各子块直方图,bin设为256。由于信息熵越大代表图像纹理信息越丰富,因此根据各子块信息熵与所有子块信息熵之和的比值分配权重。加权级联所有子块的直方图,获得原人脸直方图特征。
(2) 依据原始人脸图获得3层的高斯金字塔图像,第一、二、三层图像分辨率分别为原图的1、1/4和1/8,每一层包含两张不同尺度的图像。根据初步实验,设同一层两张人脸 之比为2。具体而言,第一层的两张图像 为 和 ,为保证尺度连续性,第二层的第一张图像由上一层最后一张图像降采样得到,且第二层第一张图像与上一层最后一张图像的 相等,即 ,第三层依次类推。对高斯金字塔每一层的两张相邻图像作差分后取得3张DOG图,然后利用均衡局部模式获得多个尺度的特征图,分块统计后得到多尺度直方图特征。在分块时,为减少特征维数并保留重要信息,第一层图像分块方式同步骤(1)对原人脸图的处理方式一致,第二、三层水平与竖直方向分块数都为第一层的1/2,第一层到第三层的bin设置时随数据库环境灵活调整。
(3) 最后将原灰度图的直方图特征与利用DOG金字塔得到的多尺度直方图特征串接级联,获得完整的人脸特征向量
从融合过程来看,由于DOG金字塔越上层的图像模糊越严重且分辨率越低,此时保留的为全局轮廓特征,它是在大尺度空间对人脸的粗略描述。而高分辨率特征图及原始人脸特征图人脸细节纹理清晰,保留了丰富的局部细节,是在小尺度空间对人脸的精细表征。通过补充的金字塔特征图像既扩大了样本量,且极大丰富了有效的人脸信息。相比于只获得原图的特征图,本文算法通过DOG融合获得了多尺度的人脸表征,实现了全局轮廓与局部细节的特征融合,可以更加全面的对人脸进行多方位描述。
得到人脸特征后,考虑到卡方距离充分考虑直方图间的相对差异,可以较好辨别两张人脸,因此本文选择卡方距离来计算两张人脸的相似度,计算如下:
(11)
式中,V和 代表待识别测试人脸特征向量和样本库某一样本的人脸特征向量,它们的向量长度为N。 代表卡方距离,距离越小说明两个人脸相似度越高。
根据公式(11)确定待测人脸与训练样本库所有人脸相似度后,根据最近邻分类器,将与测试样本最相似的训练样本类别标签赋给测试样本,确定测试样本的人脸身份后完成分类。
整体来看,基于均衡局部模式DOG多尺度融合的人脸识别算法主要分为如下几步:
(12)
在设计特征提取方法时,通过实际数据库仿真,验证所提方法的实际性能是必不可少的。但同样的,特征图、直方图、信息熵量化指标等理论结果都可以辅佐研究者预测方法的特征提取效果,可以更快初步衡量方法的理论性能。因此,本小节将独立于数据库仿真,从主客观两方面来初步验证所提方法效果。一方面,利用特征图与直方图的可视化结果可帮助我们从主观层面,视觉上感知提取的人脸特征。另一方面,利用信息熵、卡方距离等一系列量化数据,我们可以通过它们的相对关系并结合可视化结果进一步客观预测方法性能。
针对同一输入人脸,不同的特征提取方法,其特征图纹理与直方图分布往往各不相同。特征图人脸轮廓的清晰程度、在眼鼻嘴等关键器官区域纹理细节的丰富程度,往往反应出所提方法性能的优劣。而从特征图提取的统计直方图不再直接显示编码特征,它通过计算各灰度级灰度频数或频率来统计图像的总体灰度分布。当图像过暗、过亮、对比度差时,其直方图通常集中分布于某一范围。而高质量、对比度好的图像,直方图数据在所有灰度级上尽可能平均分布,灰度分布更加均匀。在拍摄时,数码摄影者可以借助它来分析图像是否存在过曝、欠曝、对比度低等一系列问题并在后期处理时针对性地优化。因此,通过特征图与直方图的可视化结果可以帮助我们在视觉上直观了解不同方法的特征提取效果并进而分析各方法优劣。
为了直观展现各方法所获特征的区别,本节从无约束人脸库LFW (Labeled Faces in the Wild)中选择了娜奥米·沃茨(Naomi Watts)的一张清晰彩色人脸图作为输入,灰度化后通过LBP、NI-LBP、ECLBP、DOG-ECLBP、LGS、SLGS、ESLGS、FLGS、DOG-FLGS等一系列方法进行了特征编码并生成特征图,其中DOG-ECLBP和DOG-FLGS分别代表融合DOG金字塔的ECLBP和FLGS方法,统计各特征图灰度分布后生成直方图。
从
进一步再仔细分析各个方法。ECLBP不同于LBP和NI-LBP方法,它同时利用了多个圆上交叉采样点的灰度信息,这使得它以相同的编码长度提取出有更强表达能力的人脸特征。观察
为了使客观评估尽可能准确,我们从特征提取、特征分类两方面,分别选择了信息熵、卡方距离来评估方法性能。在特征提取方面,信息熵量化了图像所包含的平均信息量,可衡量总的信息保留特性
(13)
式(13)对数据进行了转换处理,以尽可能使得两个指标在同一数量级,更适于量化评估。h为信息熵,d为卡方距离,p为评估系数。详细实验结果在
方法量化指标 | 信息熵(h) | 卡方距离(d) | 评估系数(p) |
LBP | 6.1737 | 17276 | 0.598 |
NI-LBP | 5.9052 | 16165 | 0.605 |
ECLBP | 7.0570 | 10580 | 0.825 |
LGS | 6.2071 | 11731 | 0.737 |
SLGS | 6.8110 | 12472 | 0.741 |
ESLGS | 6.7298 | 11767 | 0.761 |
FLGS | 7.1943 | 7426 | 1.033 |
从
为了验证改进方法的有效性,在ORL、AR和LFW公开数据库上进行实验,这些公开数据库包含了光照、表情、遮挡、姿态、年龄变化等多方面实际生活中可能遇到的干扰。其中,在AR库上设置了两个实验以进行更细致的对比。选择和典型的算法如LBP、NI-LBP、LGS、SLGS、ESLGS等,进行识别性能及时间耗费的对比。实验所用硬件设备为Intel I7-2600K,RAM为16GB,仿真环境为Matlab R2016a。
通过大量实验并结合实验结果,在实验过程中发现:对于ECLBP,设置: , 时,在ORL、AR、LFW数据库下都有不错的识别率;对于FLGS,在ORL库下设置 , ,在AR库实验一条件下,设置 , ,AR库实验二条件下,设置 , ,LFW库设置 , 时,方法的识别效果较好。可以看到,在大部分情况下,当调整FLGS的采样点使得其分布更宽时,调整ECLBP方法使得采样点距中心点更近时,可以达到较好的识别效果。
由于在特征提取中,不同的分块方式会导致不同的识别效果。为了选择最佳分块,通常将分块数控制在一定范围进行对比实验,以找到每个数据库下最好的分块方式。通过大量实验发现,在ORL库下选择分块为2 × 4,均衡局部模式两种方法的识别率最高;在AR库实验一中,在AR表情子集和AR墨镜子集下分块都设置为12 × 5,在AR光照子集、AR围巾子集下、AR库实验二中分块都设置为12 × 11时,两种方法识别率最高;在LFW库,选择分块为5×10,有最好的识别效果。
ORL数据库在不同的时间拍摄,光照、表情、姿态都有变化,头部旋转可达20度,人脸尺寸也有最多10%的变化。总共有400张图片,包含40个人,每人10张人脸样本,分辨率为112 × 92,实验中选择将分辨率归一化到96 × 96,部分样本如
为保证实验的准确性,实验中随机选择每个人的k张人脸图片作训练,剩余的图片作测试,取重复10次实验的平均值作为结果,详细的实验结果在
训练/测试 | 1/9 | 2/8 | 3/7 | 4/6 | 5/5 | 6/4 |
LBP | 77.00 | 89.69 | 95.11 | 97.04 | 98.10 | 99.00 |
NI-LBP | 80.31 | 90.16 | 95.17 | 97.5 | 98.55 | 98.75 |
ECLBP | 82.06 | 91.92 | 96.76 | 98.32 | 99.00 | 99.75 |
LGS | 77.78 | 90.47 | 95.25 | 97.29 | 98.40 | 99.31 |
SLGS | 79.50 | 91.06 | 95.96 | 98.13 | 98.60 | 99.44 |
ESLGS | 80.52 | 91.98 | 96.32 | 98.43 | 98.95 | 99.46 |
FLGS | 83.5 | 92.52 | 96.43 | 98.63 | 99.00 | 99.46 |
DOG-ECLBP | 87.28 | 94.59 | 98.63 | 99.29 | 99.38 | 100 |
DOG-FLGS | 89.17 | 95.12 | 98.75 | 99.58 | 99.75 | 100 |
参考
另外,从
AR数据库包含126个人的4000多张图片,图片分辨率为120 × 165。每个人有26张图片,在不同的时期采集。每个时期包含了13张图片,分为表情、光照、墨镜遮挡和围巾遮挡四个子集,拥有各种环境变化的情形,它也是目前用于检验人脸识别最广泛的数据库之一。部分样本图片如
实验一:为了精确测试在光照、表情、墨镜、围巾遮挡等变量单独干扰时,各方法的实际性能。选择同一时期的第一张无遮挡正脸样本训练,其余各子集的样本参与测试。
算法 | 表情 | 光照 | 墨镜 | 围巾 |
LBP | 96.33 | 92.33 | 91.67 | 85.67 |
NI-LBP | 97.33 | 94.33 | 94.67 | 89.00 |
ECLBP | 98.67 | 99 | 96.33 | 95.33 |
LGS | 97.33 | 94.67 | 93.67 | 89.67 |
SLGS | 98.00 | 95.33 | 94.67 | 90.33 |
ESLGS | 98.67 | 96.33 | 95.33 | 91.67 |
FLGS | 99.33 | 98.67 | 96.67 | 95.67 |
DOG-ECLBP | 100 | 100 | 99.33 | 98.00 |
DOG-FLGS | 100 | 100 | 99.67 | 99.00 |
在
另外,尤其需要说明的是,通过DOG金字塔与均衡局部模式的融合,DOG-FLGS、DOG-ECLBP在表情、光照子集下识别率达到了100%,它们的曲线始终在最上方且基本趋于平稳,在围巾的严重干扰下,DOG-FLGS方法的识别率也仅下降1%。这表明通过金字塔与局部特征提取方法的融合,算法有着显著的性能提升并且对各种干扰有更强的鲁棒性。
实验二:为了进一步验证在混合光照、表情、遮挡、年龄等多重干扰后,所提方法是否有效。本实验根据AR库的样本特性,在不区分样本拍摄时间的情况下随机打乱样本顺序后,选择26张图片的任意3、6、10、13张参与训练,剩余图片参与测试。取10次实验的平均值作为结果。
训练/测试 | 3/23 | 6/20 | 10/16 | 13/13 |
LBP | 50.43 | 70.11 | 82.44 | 90.18 |
NI-LBP | 51.36 | 71.35 | 84.19 | 90.46 |
ECLBP | 57.88 | 77.89 | 89.13 | 93.68 |
LGS | 51.54 | 70.30 | 84.18 | 89.66 |
SLGS | 52.69 | 71.12 | 85.95 | 90.13 |
ESLGS | 54.67 | 75.55 | 87.81 | 92.11 |
FLGS | 61.80 | 80.44 | 91.15 | 95.29 |
DOG-ECLBP | 68.52 | 85.40 | 94.18 | 96.58 |
DOG-FLGS | 71.04 | 87.50 | 95.20 | 97.82 |
结合
ORL和AR库在受控的环境下获取样本,不能完全模拟真实的无约束场景。因此进一步选择LFW库来验证在无约束环境下方法的有效性。LFW(Labeled Faces in the Wild)数据库来源于美国的计算机视觉实验室,总共包含5749个人的13000多张图片。其照片大多来自互联网,取自于实际生活的无约束场景,存在极强的姿态、光照、表情、遮挡、年龄等变化,非常具有挑战性
训练样本占比 | 0.3 | 0.5 | 0.7 |
LBP | 51.70 | 59.42 | 62.88 |
NI-LBP | 52.98 | 60.89 | 64.12 |
ECLBP | 63.51 | 71.54 | 74.92 |
LGS | 52.70 | 60.08 | 64.23 |
SLGS | 55.00 | 61.92 | 67.27 |
ESLGS | 60.16 | 67.90 | 71.99 |
FLGS | 66.67 | 74.53 | 78.40 |
DOG-ECLBP | 68.20 | 76.35 | 80.76 |
DOG-FLGS | 71.07 | 79.40 | 82.45 |
从
经过改进,算法的识别率上升了,那么这一小节将考虑改进后的算法在时间复杂度上的表现。为了比较各方法在时间消耗上的差异,本节在ORL库实验,选择以每个人的1张样本作训练,剩余9张样本作测试,统计了各方法的特征提取及特征匹配耗时结果。取10次实验的平均值作为最终结果,实验仿真数据见
时间/s | 库特征提取总时间/s | 单张样本特征提取时间/s | 库特征匹配总时间/s | 单张样本特征匹配时间/s |
LBP | 3.70 | 0.009 | 0.21 | 0.0005 |
NI-LBP | 3.79 | 0.010 | 0.21 | 0.0005 |
ECLBP | 3.86 | 0.010 | 0.21 | 0.0005 |
LGS | 3.71 | 0.009 | 0.21 | 0.0005 |
SLGS | 3.72 | 0.009 | 0.21 | 0.0005 |
ESLGS | 3.74 | 0.009 | 0.21 | 0.0005 |
FLGS | 3.76 | 0.009 | 0.21 | 0.0005 |
DOG-ECLBP | 8.92 | 0.022 | 0.42 | 0.0011 |
DOG-FLGS | 8.75 | 0.022 | 0.42 | 0.0011 |
结合本小节的仿真时间和前面各小节在数据库的仿真结果来看,在未融合金字塔特征时,均衡局部模式方法:ECLBP、FLGS,在特征提取和特征匹配上消耗的时间同LBP等对比方法基本一致,数量级上并没有差距,但是两种改进方法的识别率明显更高且鲁棒性也更强。这表明了改进方法在不增加时间复杂度的前提下显著增强了特征的表达能力,验证了改进策略的有效性。
从
针对LBP、LGS类算法可快速提取特征但存在特征表达不强的问题,以及单纯使用局部模式存在描述人脸信息片面的局限性,由此提出一种基于均衡局部模式的DOG多尺度融合金字塔人脸识别算法。为了弥补LBP与LGS的缺点,算法均衡优化了局部采样及模式编码过程,提出可灵活记录信息的ECLBP和FLGS方法,合称为均衡局部模式。ECLBP引入的双圆交叉采样、自适应阈值和FLGS的均衡图结构,显著增强了对关键特征的均衡提取。为有效扩充样本信息,进一步融合的DOG金字塔多尺度信息,通过全局轮廓与局部细节的特征融合,进一步增强了特征性能。从特征图和直方图的可视化分析,以及信息熵、卡方距离等客观量化指标的评估,验证了所提方法在特征提取和分类性能上的优势,在保持计算复杂度不变的同时,显著提升了人脸识别的准确率,具有更好的实用价值。