张雪琴 林克正 李骜
摘 要：针对人脸图像在复杂光照环境下提取的特征不够丰富，导致识别率低的问题，提出一种稀疏表示的局部模式特征提取与识别算法。首先将图像进行分块，依次对每个子区域的像素进行阈值化处理，并将其与中心像素值比较的结果编码到中心对称局部二值模式算法中来实现特征提取;然后在此基础上采用中心对称局部方向模式算法提取二阶特征，得到最终的纹理特征;最后结合稀疏表示分类器对提取的特征进行分类识别。在Extended Yale B、CMU_PIE、AR数据集上的仿真实验验证了所提方法的有效性。
关键词：中心对称局部二值模式;中心对称局部方向模式;特征提取;稀疏表示
DOI：10.15938/j.jhust.2021.04.014
中图分类号：TP391.4
文献标志码：A
文章编号：1007-2683（2021）04-0102-07
Abstract：In order to solve the problem that the face image is not rich in features extracted under complex lighting environments， which leads to a low recognition rate， a local pattern feature extraction and recognition algorithm based on sparse representation is proposed. Firstly， the image is divided into several sub-images and the Dynamic Threshold Central-symmetric Local Binary Pattern（DTCLBP） algorithm is used to extract features by thresholding the pixels of each sub-block and encoding the results of comparison with the central pixel values into the Central Symmetric Local Binary Pattern（CSLBP）; and then second-order features are extracted from the processed image by the former step using the Central Symmetric Local Derivative Pattern（CSLDP）; finally， the sparse representation classification algorithm is used to classify and identify the extracted features. The simulation experiments on Extended Yale B， CMU_PIE and AR face databases validate the effectiveness of the DTCLBP-CSLDP-SRC.
Keywords：central symmetric local binary pattern; central symmetric local derivative pattern; feature extraction; sparse representation
0 引 言
近年来基于人脸的局部特征提取方法逐渐成为模式识别领域的研究热点。局部表示方法由于刻画了局部更细节的纹理信息，对光照变化往往表现得更为鲁棒，所以寻找一种高效、有鉴别能力的人脸局部特征描述算子是光照变化下人脸识别的一个关键挑战。Ojala等[1]提出的局部二值模式（local binary pattern， LBP）是一种能有效提取图像局部纹理特征的描述算子，它对灰度图像中局部邻近区域的纹理信息进行提取，方法简单有效，具有良好的灰度不变性，因此在人脸识别[2-5]中得到了广泛的应用。然而，LBP容易受噪声的影响，抗噪声能力弱，而且其对光照十分敏感，光照变化问题只能得到缓解，不能完全解决，因此研究出一种人脸局部特征描述方法，局部方向模式[6]（local derivative pattern， LDP），它通过比较各像素在不同方向的相对边缘响应值来生成LDP编码值，克服了LBP的缺点，这在光照条件下以及有噪声的情况下具有一定的鲁棒性。
LBP和LDP算法提取的特征过于详细且具有高维性，导致计算的复杂度高。因此出于简化和减少运算的目的，Heikkila等[7]提出了中心对称局部二进制模式算法（central symmetric local binary pattern， CSLBP），該算法维数低，抗噪能力强，并成功应用于人脸识别上[8-13]，对人脸光照、表情和部分遮挡条件具有一定的鲁棒性。
但是CSLBP算法还存在缺陷，它仅仅针对邻域像素进行计算，而忽略了中心像素点的作用，丢失了中心点的特征信息。在提取纹理特征时阈值不能自动选择，而且CSLBP仅提取一阶特征，不能提取多阶特征来表达人脸变化的细节信息，对于光照效果较差的人脸图像，仍然不能达到满意的识别效果。针对以上问题，本文提出了一种提取光照条件下人脸图像鲁棒深度特征的有效方法。首先提出了一种动态阈值的中心对称局部二值模式算法（dynamic threshold central-symmetric local binary pattern， DTCLBP），该算法是通过对每一子块中的像素阈值化处理，并将其与中心像素灰度值比较的结果编码到CSLBP算法中来进行特征提取;其次，使用中心对称局部二阶微分模式[14]（central symmetric local derivative pattern， CSLDP）算法二次提取更细微的局部特征，最后结合稀疏表达分类（sparse representation classification， SRC）[15]算法对提取的特征进行分类和识别，得到DTCLBP-CSLDP-SRC模型。
1 相关基本理论
1.1 CSLBP算法
CSLBP算法的主要思想：比较中心对称方向像素对的灰度值，当像素对差值大于等于0时，二进制编码为1，当差值小于0时二进制编码为0，并将二进制值转换为十进制的CSLBP值。CSLBP仅产生N/2个二进制模式，当使用直方图来描述局部纹理特征时，CSLBP的直方图维数为2P/2，低于LBP的直方图维数2P，极大地缩短了有限元长度，提取的特征维度低。这种算子可以表达图像局部纹理的空间结构，对光照变化具有一定的鲁棒性，且计算复杂度低。
CSLBP算法的编码规则定义如下：
式中：Gi和Gi+（N/2）是半径为R的圆上N个等间距像素的中心对称像素对的灰度值。
8邻域像素下的CSLBP算子的计算实例如下：
1.2 CSLDP算法
CSLDP是灰度范围内特征提取的纹理描述方法，它特征长度短，计算速度快，提取出的特征能充分的表示人脸。在极端光照条件下，它比CSLBP算子能提取更详细的局部信息，具有很强的鲁棒性。
CSLDP算法进行特征提取的具体原理是：在中心像素GC周围分布8个邻域，如果G0位于水平方向，像素将沿着从G0对称的方向与GC进行比较。如果乘积大于0，则结果为1，否则为0。然后可以得到一个四位二进制数，最后将它转换成十进制的代码值。
CSLDP算法的编码规则定义如下：
式中：R是半径;N是周围邻域像素数量;Gi和Gi+（N/2）是中心对称像素对的灰度值。
8邻域像素下的CSLDP算子的计算实例如下：
2 DTCLBP-CSLDP-SRC模型
2.1 DTCLBP算法
1.1节所提到的CSLBP算法只考虑了中心对称像素之间的关系，却忽略了中心像素上的信息。在图像识别中往往中心像素点要比邻域点能提供更重要的信息，因此提出一种动态阈值的中心对称局部二值模式算法（DTCLBP），目的是在CSLBP算法基础上把中心像素的灰度值GC其相邻的像素梯度信息融合在一起。具体方法是引入了一个动态阈值Gt，Gt反映的是每一子块中N个等间距像素与中心像素的平均值，Gt是根据N的改变而变化的，而且图像的每个子区域都有其对应的动态阈值。然后将中心点的像素值与Gt比较，当值大于等于0时，二进制编码为1，当差值小于0时，二进制编码为0。最后将其结果编码到CSLBP算法的左侧，便可得到DTCLBP编码。
DTCLBP算法的编码规则定义如下：
式（5）中：GC为中心像素的灰度值;Gi和Gi+（N/2）是中心对称像素对的灰度值;Gt=∑N-1i=0Gi+GCN+1 ;t（x）是用于确定局部模式转换的类型。
DTCLBP算法的特征直方图计算定义如下：
以8邻域像素为例，DTCLBP算法具体的特征提取过程如图1所示。
DTCLBP算法所提取的局部纹理特征与LBP算法相比，特征维度低。以8邻域像素为例，其产生25=32个二进制模式，而LBP产生28=256个。与CSLBP算法相比它的特征维度是高的，但仅比其多一倍，有5位二进制序列，特征维度相对还是较低的，最重要的是它把中心像素的值融入到了整个编码中，这使得提取的特征信息更加丰富。
2.2 稀疏表示模型
通过式（10）求出最稀疏解后将测试样本与每一类的重构样本进行比较，最后将其归到误差最小的那一类样本中。其中每一类的重构误差值计算如下：
测试样本所属的类别计算如下：
2.3 算法步骤
根据前面的推导和分析，阐述所提出算法的具体操作步骤。
步骤1 分别将Extended Yale B、CMU_PIE、AR这3个数据库中的图像分为训练集和测试集。
步骤2 将训练集与测试集的每张图像都进行分块处理，分为n块，然后根据式（5）用DTCLBP算法提取每个子块的纹理特征，用直方图的形式表示为：
步骤3 同步骤2，根据式（3）用CSLDP算法在步骤2形成的特征图像基础上进行二阶特征提取，得到训练集矩阵D′，测试集矩阵y′。
步骤4 归一化训练集矩阵D′的每一列，测试样本表示为y′=D′x，然后根据式（10）求解稀疏系数。
步骤5 根据式（11）计算残差ri（y′），最后根据式（12）计算出测试样本的所属类别，输出每个测试样本的所属类别。
3 实验结果与分析
3.1 实验环境及数据集
实验的環境为：Windows 7（64位），Matlab R2016a，RAM 8.00G。
为了验证提出方法的有效性，选择在3个人脸库Extended Yale B、AR、CMU_PIE上进行实验。
Extended Yale B包含了来自38个人的2432张正面人脸图像，每个人有64张是在不同照明条件下拍摄的，实验根据光源入射角度的不同，把其分为5个子集：子集1（0°～12°，每个人7张图像），子集2（13°～25°，每个人12张图像），子集3（26°～50°，每个人12张图像），子集4（51°～77°，每个人14张图像），子集5（大于78°，每个人19张图像）。每张图像的大小为192×168像素，5个子集的图像样图如图2所示。
CMU_PIE数据库包含68个人的41268张多姿态、光照的面部图像，其中在某一姿态下每人有43种光照条件下拍摄的图像，大小为64×64像素，部分样图如图3所示。
AR数据库包含126个人的4000多张人脸图像，每张图像的大小为165×120像素，其中每个人参与两个阶段采集图片，每个阶段有13张图片。在这13张图片中，3张是戴墨镜的，3张是戴围巾的，剩下的7张包括不同的夸张面部表情、不同的光照变化，部分样图如图4所示。
3.2 评价指标
本文采用准确率（Accuracy） 方法来评判所提方法的优劣程度。
准确率表示的是被正确分类的样本数占总体样本的比重，公式如下：
Accuracy=TP+TNP+N
式中：TP表示被正确划分为正例的个数，TN表示被正确地划分为负例的个数，P+N表示总的测试样本数。
3.3 分块数对识别率的影响
在实验中，分块数与所提算法的识别效果有着密切的关系，如果分割的子块数太少，提取的特征信息不能很好地体现人脸局部细节。如果子块数过多则会使特征维数增加而降低识别效果。
在Extended Yale B、CMU_PIE、AR数据库中，将图像分割成k×k（k=2，4，6，8，10）块，分别实验10次，结果取平均识别率，如图5所示。从实验结果可以看出，在Extended Yale B数据集中，分块数在10×10附近表现出高的识别率;在CMU_PIE数据集中，识别率在分块数为4×4时达到最大值，随后开始呈下降趋势;在AR数据集中，识别率在分块数为9×9附近取得最大值。
3.4 结果与分析
Extended Yale B数据库中，设计了2个实验来验证所提方法在复杂光照条件下的有效性。在第一个实验中，随机选择每个子集中的一张图像形成训练集，子集1到子集5的剩余图像分别作为测试集，进行10次实验，最后取平均识别率，增加结果稳定性，与其他算法的比较结果如图6所示。其中对比实验ECSLBP+DBN[16]参数设置：DBN层数为3，节点数为50-30-20，迭代次数为50次，学习率为0.001。LNMLCP[17]则是引入了指数判别分析和模糊融合框架对局部特征提取进行改进。
由实验结果可以看出，对于光照条件相对比较理想的子集1和子集2，本文提出的方法与LBP+DBN、ECSLBP+DBN[16]的识别率都接近100%。随着光照条件的恶化，算法性能都普遍下降，但LBP+DBN下降幅度最大，并且在子集5上识别率仅为30%，而其余方法在最差光照条件下的识别率在55%～80%，但本文方法在子集5上的识别率接近95%，下降幅度很小，这是因为DTCLBP算法提取了丰富的人脸局部特征，并结合CSLDP算法使提取的特征更加完整。实验结果表明本文提出的方法可以适应不同的光照条件，特别是当人脸图像处于极端的光照条件下时，本文方法有明显的优势，具有鲁棒性。
第二个实验中，选择光照条件理想的子集1和子集2的图像作为训练集，剩余的3个子集分别作为测试集进行15次重复实验，最后结果取平均识别率，与其他方法的对比结果如图7所示。其中对比方法ECSLBP+DBN[16]和LNMLCP[17]的参数配置与实验一的相同。
由实验结果可知，本文方法在子集3和子集4上的效果最佳，对于光照条件差的子集4本文方法识别率达95.24%，比其他方法都高，表现出较好的优势，具有稳定性。随着光照干扰的继续增加，各种算法的性能普遍下降，在光照条件最差的子集5上本文方法与识别性能相对较好的K-SRC、DOG+LTP、LNMLCP[17]方法比较仅相差0.2%左右，所以对光照变化具有一定的鲁棒性。
在CMU_PIE人脸库中，选取Pose07下的32个志愿者的人脸图像进行实验，每人有43张不同光照条件的图像。实验中分别取每个人的前t张图像（t=20，25，30，35，40，45）作为训练集，其余的为测试集，进行10次重复实验，结果取平均识别率，图像的分块数为4×4，与其他方法的对比结果如表1所示。其中对比方法FRMCD[18]是对深度信念网络和局部特征的改进，它的隐藏层单元数为250。ECSLBP+DBN[16]的参数设置：DBN层数为3，节点数为50-30-20，迭代次數为50次，学习率为0.001。LBP+CNN[21]参数设置：学习率为0.0001，结构包括4个卷积层、2个最大池化层、1个激活层、1个全连接层和1个输出层。
由实验结果可知，本文方法相对于PCA、LBP等传统方法更能提高识别性能，与深度信念网络相比识别率可以提高12%左右，与结合深度学习的方法FRMCD[18]、VGG-Face[19]等相比提升的识别率接近5%，与卷积神经网络相比识别率仅提高0.8%，说明将DTCLBP与CSLDP融合能充分挖掘图像的局部特征信息，提高了算法的识别能力。
对于耗时实验，选择在CMU_PIE人脸库上进行，随机取每个人80%的图像作为训练集，其余的为测试集，重复10次实验，结果取平均值，如表2所示。
结合表1、表2可知，虽然本文算法的识别率略高于LBP结合卷积神经网络的方法，但是其耗时较长，表现出不足。
在AR人脸数据库中，选择50名男性和50名女性的1 400张图像，其中去掉每人有遮挡的12 幅图像，剩下14 幅不同光照条件下的图像进行实验，随机取每个人的t（t=3，4，5，6） 张图像作为训练样本，其余的为测试样本，取10次结果的平均值作为实验数据。与其他方法的识别率比较结果如图8所示。
实验结果可以看出各种方法的识别率都是随着训练样本数的增加而提高的，当训练样本为3时，本文方法识别率为87.82%;当训练样本达到6时，虽然与Parkhi等[19]提出的VGG-Face网络模型比识别率低，但在训练样本较少的情况下所提算法识别性能表现最好。所以在光照变化程度不太明显的AR人脸库中，本文算法可以提取到丰富的特征，获得较高识别率。
4 结 论
本文提出了一种基于稀疏表示的局部模式特征提取与识别算法。一方面充分利用了DTCLBP算法对复杂光照环境下的图像具有良好特征提取能力的优势，另一方面，结合CSLDP算法可以提取更加细微的高阶信息，而且两次特征提取都不丢失中心像素信息，这使得提取的特征更加完整，进一步提高了算法的识别率。实验结果表明，在复杂光照条件下，DTCLBP-CSLDP-SRC模型有明显的优势，尤其在光照条件极差的情况下具有一定鲁棒性。本文算法计算简单，提取的特征长度短，复杂度低，可以提高人脸识别的准确率，并且在训练样本数量较少的情况下也具有明显优势。
参 考 文 献：
[1] OJALA T， PIETIKAINEN M， HARWOOD D. A Comparative Study of Texture Measures with Classifcation Based on Featured Distributions[J]. Pattern Recognition，1996，29（1）：51.
[2] SHAN Caifeng， GONG Shaogang， MCOWAN P W. Facial Expression Recognition Based on Local Binary Patterns：A Comprehensive Study[J]. Image and VisionComputing，2009，27（6）：803.
[3] LUO Yuan，Wu Caiming，ZHANG Yi. Facial Expression Recognition Based on Fusion Feature of PCA andLBP with SVM[J]. Optik-International Journal for Light and Electron Optics，2013，124（17）：2767.
[4] TANG Hengliang， YIN Baocai， SUN Yanfeng， et al. 3D Face Recognition using Local Binary Patterns [J].Signal Processing，2013，93（8）：2190.
[5] 万源， 李欢欢， 吴克风， 等. LBP和HOG的分层特征融合的人脸识别[J]. 计算机辅助设计与图形学学报，2015，27（4）：640.
WAN Yuan， LI Huanhuan， WU Kefeng， et al. Fusionwith Layered Features of LBP and HOG for Face Recognition[J]. Journal of Computer-Aided Design andComputerGraphics，2015，27（4）：640.
[6] TUKHTASINOV M T，MIRZAEV N，NARZULLOEV O M. Face Recognition on the Base of Local Directional Patterns[C]//2016 Dynamics of Systems， Mechanisms and Machines.Omsk：IEEE，2016.
[7] HEIKKILA M， PIETIKAINEN M， SCHMID C. Description of Interest Regions with Local Binary Patterns[J]. Pattern Recognition，2008，42（3）：425.
[8] 张洁玉， 赵鸿萍， 陈曙. 自适应阈值及加权局部二值模式的人脸识别[J]. 电子与信息学报， 2014， 36（6）：1327.
ZHANG Jieyu， ZHAO Hongping， CHEN Shu. Face Recognition Based on Weighted Local Binary Patternwith Adaptive Threshold[J].Journal of Electronics andInformation Technology，2014，36（6）：1327.
[9] CHAKRABORTY S， SINGH S K， CHAKRABORTYP. R-theta Local Neighborhood Pattern for Unconstrained Facial Image Recognition and Retrieval[J]. Multimedia Tools and Applications， 2019， 78（11）：14799.
[10]ZHOU Ningning， CONSTANTINIDES A G， HUANG Guofang， et al.Face Recognition Based on an Improved Center Symmetric Local Binary Patter[J]. Neural Computing and Applications，2018，30（12）：3791.
[11]LI Jiadi， CHEN Zhenxue， LIU Chengyun.Low-resolution Face Recognition of Multi-scale Blocking CS-LBPand Weighted PCA[J]. International Journal of Pattern Recognition and Artificial Intelligence，2016，30（8）：1656005.1.
[12]ZHONG Rui， WU Huaiyu， HE Yun.Fast Face Recognition Algorithm Based on Local Fusion Feature and Hierarchical Incremental Tree[J].Computer Science，2018，45（6）：308.
[13]楊恢先， 贺迪龙， 刘凡， 等. 基于双向梯度中心对称局部二值模式的单样本人脸识别[J]. 计算机辅助设计与图形学学报， 2017， 29（1） ：130.
YANG Huixian， HE Dilong， LIU Fan，et al. Face Recognition Based on Bidirectional Gradient Center Symmetric Local Binary Patterns[J].Journal of Computer-Aided Design and Computer Graphics， 2017， 29（1）：130.
[14]XUE Gengjian，LI Song，SUN Jun，et al. Hybrid Centersymmetric Local Pattern for Dynamic Background Subtraction[C]//IEEE International Conference on Multimedia and Expo.Barcelona：IEEE，2011：1.
[15]林克正，庄靓玮，荣友湖，等.基于Gabor特征的全局加权稀疏表示[J].哈尔滨理工大学学报，2016，21（1）：40.
LIN Kezheng， ZHUANG Liangwei， RONG Youhu， et al. Based on Gabor Characteristics Global Weighted Sparse Representation[J]. Journal of Harbin University of Science and Technology，2016，21（1）：40.
[16]LI Chen， ZHAO Shuai， XIAO Ke， et al.Face Recognition Based on the Combination of Enhanced Local Texture Feature and DBN under Complex Illumination Conditions[J].Journal of Information processing Systems，2018，14（1）：191.
[17]ZHOU Lifang， LI Weisheng， DU Yuewei， et al.Adaptive Illumination-invariant Face Recognition via Local Nonlinear Multi-layer Contrast Feature[J]. Journal of Visual Communication and Image Representation，2019，64：10.
[18]SUN Kun， YIN Xin， YANG Mingxin， et al.The Face Recognition Method Based on CS-LBP and DBN[J]. Mathematical Problems in Engineering，2018（14）：1.
[19]PARKHI O M，VEDALDI A，ZISSERMAN A.Deep Face Recognition[C]//British Machine Vision Conference，2015：1.
[20]段红燕， 何文思， 李世杰.改进的单尺度Retinex和LBP结合的人脸识别[J]. 计算机工程与应用， 2018， 54（23）：148.
DUAN Hongyan， HE Wensi， LI Shijie.Face Recognition Based on Improved Single Scale Retinex and LBP Algorithm[J]. Computer Engineering and Applications，2018，54（23）：148.
[21]KE Pengfei，CAI Maoguo，WANG Hanmo，et al. A Novel Face Recognition Algorithm Based on the Combination of LBP and CNN[C]//2018 14th IEEE International Conference on Signal Processing， Beijing， 2018：539.
（編辑：温泽宇）
猜你喜欢特征提取基于MED—MOMEDA的风电齿轮箱复合故障特征提取研究电机与控制学报(2018年9期)2018-05-14基于整体特征差异度参数的人脸相似度检测电脑知识与技术(2018年4期)2018-03-19基于大数据的智能视频分析技术在平安校园中的应用研究电脑知识与技术(2018年1期)2018-02-02图像纹理检测与特征提取技术研究综述中国管理信息化(2017年23期)2018-01-03高光谱技术在茶叶品种检测中的应用科技创新导报(2017年9期)2017-08-02基于随机森林的用户行为识别模型研究电脑知识与技术(2017年7期)2017-06-05基于曲率局部二值模式的深度图像手势特征提取计算机应用(2016年10期)2017-05-12基于ELM和证据理论的纹理图像分类计算技术与自动化(2017年1期)2017-05-08网络民航事件虚假评论的识别研究智能计算机与应用(2016年4期)2016-09-26镜像式单摄像机立体视觉传感器对弹簧几何尺寸的测量现代电子技术(2015年18期)2015-09-16 相关热词搜索： 稀疏 提取 局部