<G:\武汉工程大学\2022\第3期\郭婷-1.tif>[ a ][ b ][ c ][ d ]
图1 自然光（a）和弱光（b）下的可见光图像，自然光（c）和弱光（d）下的热红外图像
Fig. 1 Visible light images in nature irradiation （a） and low light irradiation（b）， thermal infrared images in nature
irradiation （c） and low light irradiation（d）
然而，当人面部的温度受汗液、环境条件而发生改变时，基于热红外图像的人脸识别系统的识别率会明显降低。而光谱信息具有相对稳定性，能够为热红外图像提供必要的辅助信息。现有的光谱人脸识别算法在光谱范围的选择上局限于可见光光谱范围和近红外光谱范围，均无法在夜间使用。因此，提出了一种热红外图像和宽光谱信息融合的人脸识别算法，该算法能够有效地利用热红外和宽光谱的互补优势，提升人脸识别的稳定性和识别准确率。
<G:\武汉工程大学\2022\第3期\郭婷-2.tif>[2 4 6 8 10 12 14
λ / μm][20.0
17.5
15.0
12.5
10.0
7.5
5.0
2.5
0
][L / ［（W/m2）sr］][嘴唇_0][嘴唇_2][嘴唇_3][嘴唇_1]
图2 不同个体嘴唇区域光谱差异
Fig. 2 Spectra differences in lip region of
different individuals
1 数据库构建
目前，基于热红外或基于宽光谱的人脸识别研究较少，其相关的数据集一般不公开，适合热红外和宽光谱融合的人脸数据集更是匮乏。鉴于此情况，本文利用实验室的设备自建了红外宽光谱人脸融合数据集。
1.1 热红外人脸图像数据集
利用中波红外热像仪构建了华中科技大学中波热红外人脸数据集，部分数据链接：https：//pan.baidu.com/s/1yhB60ZJnAIsFwkbaoI4trA 提取码：HMFD。该数据集共包含200位志愿者（样本）的脸部热红外数据，共计22万张图片。人脸数据示例如图3所示。
<G:\武汉工程大学\2022\第3期\郭婷-3.tif>
图3 HMFD部分示例
Fig. 3 Some examples of HMFD
1.2 红外宽光谱数据集
利用SR-5000N光谱仪对热红外人脸数据集中志愿者的面部宽光谱数据进行采集，光谱仪如图4所示。宽光谱人脸数据集中主要包含左眼、右眼、鼻子以及嘴唇4个关键区域的宽光谱数据，每个区域各采集500个宽光谱样本。该数据集所测宽光谱范围为[1.3~14.4 μm]。
<G:\武汉工程大学\2022\第3期\郭婷-4.tif>
图4 SR-5000N光谱仪
Fig. 4 SR-5000N spectrograph
2 热红外图像和宽光谱融合的人脸识别算法
算法流程如图5所示，首先热红外和宽光谱数据分上下两层特征提取流进行输入，热红外特征提取模块负责热红外特征的提取，宽光谱特征提取模块负责宽光谱特征的提取；然后将获得的热红外特征和宽光谱特征输入模态特征融合模块，并根据设计的自适应权重融合策略实现两种模态特征的融合；最后基于融合后的特征进行人脸识别。
<G:\武汉工程大学\2022\第3期\郭婷-5.tif>
图5 算法流程图
Fig. 5 Algorithm flowchart
2.1 热红外特征提取模块
借鉴可见光人脸识别技术，选用DenseNet模块提取人脸的热红外特征。相比于其他特征提取模块，DenseNet具有以下优势：（1）能有效缓解神经网络训练中梯度消失的问题；（2）能减少网络参数的数量，提高网络运行的效率；（3）模块中的密集块结构能实现网络层的多重连接，加强特征的表达。
2.2 宽光谱特征提取模块
宽光谱特征提取模块如图6所示，其中1为面部各区域原始红外宽光谱特征向量； 2为各区域宽光谱特征提取层； 3为各区域经过宽光谱特征提取层处理后的宽光谱特征向量。
<G:\武汉工程大学\2022\第3期\郭婷-6.tif>
图6 宽光谱特征提取模块
Fig. 6 Wide spectra feature extraction module
红外宽光谱人脸数据库中，每位志愿者的每个样本均包含4个关键区域的原始宽光谱特征数据，针对4个关键特征区域Sparts提取4组特征向量，分别表示为：左眼特征向量[SLE]、右眼特征向量[SRE]、鼻子特征向量[SN]、嘴唇特征向量[SM]。
利用二维卷积实现对关键区域的特征向量进行压缩重组。对每个关键区域进行特征压缩可获得子特征向量[Sparts_1∈R1×200]，[Sparts_2∈R1×100]，[Sparts_3∈R1×66]。将子特征向量进行维度拼接重组得到关键区域的局部特征向量[Sparts_New∈R1×366]。
分别对人脸的左眼、右眼、鼻子以及嘴唇4个区域同时进行上述处理，获得左眼特征向量[SLE_New]、右眼特征向量[SRE_New]、鼻子特征向量[SN_New]、嘴唇特征向量[SM_New]，于是可得此样本的面部宽光谱特征向量[SNew=SLENew+SRE_New+SN_New+]
[SM_New]。
2.3 基于自适应权重的特征融合模块
对于热红外图像和宽光谱的协同识别，不同特征对识别任务的判别程度不尽相同。由此提出的基于自适应权重的融合策略，能够自动学习各个特征组的注意权重，增强人脸的特征表达，提升人脸的识别性能。
如图7所示，此模块的输入为2个组特征：热红外图像特征、宽光谱特征，表示为[[g1,g2]]。
组压缩：将整个组特征编码为1个全局特征，并采用组全局平均池化实现。如对于维度为[(wg,hg,cg)]的组特征[gi]，通过组全局平均池化得到当前组的全局特征[zi]：
[zi=1cgk=1cg(1wg×hgi=1wgj=1hggi(i,j,k))] （1）
因此，对于2个组特征可得向量[Z=[z1,z2]]。
<G:\武汉工程大学\2022\第3期\郭婷-7.tif>
图7 特征融合模块
Fig. 7 Feature fusion module
组激励：采用sigmoid形式的门机制实现，可以得到各个组之间的非线性关系，图7中，第1个全连接层起降维作用，采用ReLU激活函数加入非线性因素，然后采用全连接层恢复原始的维度，最后通过sigmoid门机制得到[0~1]之间的归一化权重向量[S=[s1,s2]]。
组特征重标定：将学习到的各组权重系数乘上原始组特征。归一化权重向量[S]可表示各组特征的重要程度，通过对各组特征[gi]利用权重系数[si]进行重标定，可得到重新关注后的各组特征，重标定为：
[mi=Fscalegi,si=si×gi] （2）
其中，[si]为一个实数，函数[Fscale]表示[si]与[gi]元素逐个相乘，最后可得重标定后的特征向量M=[[m1, m2]]，从而获得人脸的热红外图像宽光谱融合特征。
2.4 损失函数
[L=i=1N(Fi-Gi22-Fi-Pi22)] （3）
式中，[Fi]是由输入样本获得的特征，[Gi]为输入样本所属类别的类心特征，[Pi]为输入样本预测类别的类心特征。
3 实验部分
3.1 实验平台及实验参数
实验在版本号为2020.2的 PyCharm软件平台上进行，基于Ubuntu 16.04操作系统，采用Pytorch深度学习框架，选用RTX2080TiGPU。
训练批次为200；批量大小为2；采用随机梯度下降算法（SGD）训练模型，设置Lr（学习率）=0.001。
3.2 评价指标
用热红外图像与宽光谱数据集中的测试集评估训练模型的精度。测试样本中，准备同一人的不同样本对作为正样本，不同人的样本对作为负样本，以欧氏距离[D(xi,xj)]来评判正样本中的正样本对和负样本中的样本对是否为同一类别。正样本对[(i,j)]集合记为[Dsame]，而负样本对集合记为[Ddiff]。
在正样本集合中，正确接受的集合部分：
[Yd=i,j∈Dsame, Dxi,xj≤d] （4）
其中，[d]表示阈值，[Yd]表示在以阈值[d]进行人脸验证的过程中，两个样本被认为是同一个人的集合部分。同样，错误接受的集合部分：
[Nd=i,j∈Ddiff, D(xi,xj)≤d] （5）
正样本集合中正确接受的集合部分占据的比例为正确接受率（TAR，T）：
[Td=YdDsame] （6）
负样本集合中错误接受的集合部分占据的比例为错误接受率（FAR，F）：
[Fd=NdDdiff] （7）
数据集中共采用40人，同一人的正样本共500组样本对，随机选择不同人的负样本共1 000组样本对，正、负样本集共60 000组样本对。
3.3 消融实验
为了验证本文提出的基于自适应权重融合策略的识别算法（实验1）的有效性，突出自适应权重的图像光谱特征融合策略的优势，在人脸数据集上进行了如下实验：
实验1：首先利用热红外特征提取模块和宽光谱特征提取模块分别获取人脸的热红外特征向量和宽光谱特征向量。然后通过基于自适应权重的特征融合模块实现两种特征向量的有效融合，最后基于融合后的特征向量完成精准的人脸识别。
特征拼接融合策略是目前比较常用且有效的一种融合策略［11］，基于图像光谱特征拼接融合策略识别算法（实验2）［12-14］：将实验1的融合策略替换为人脸的热红外图像特征向量和宽光谱特征向量直接在维度方向进行拼接的融合策略。
以正确接受率和错误接受率来综合评估实验模型的性能，消融实验结果如表1所示。
由表1可知，各组实验的结果随着阈值的改变而改变，当阈值为0.5时，每组实验的T和F指标基本达到最佳平衡。结果显示在阈值为0.5时，实验1获得了96%的正确接受率，3%的错误接受率。而实验2仅实现了95%的正确接受率，5%的错误接受率。相比之下，实验1通过自适应分配模态特征权重，能够在实现较高正确接受率的同时，保持较低的错误接受率，其识别性能略优于实验2，从而证明了本文采用的基于自适权重融合策略有效性。
表1 消融实验结果
Tab. 1 Ablation experiment results
[阈值 实验1 实验2 T F T F 0.8 0.94 0.02 0.92 0.01 0.7 0.95 0.03 0.92 0.04 0.6 0.95 0.04 0.94 0.06 0.5 0.96 0.03 0.95 0.05 ]
3.4 对比实验
为了验证本文提出的基于自适权重融合策略的识别算法的有效性。在人脸数据集上，将本文算法和基于主成分分析的红外识别算法（实验3）［15］进行对比。对比实验结果如表2所示。
表2 对比实验结果
Tab. 2 Comparison of experimental results
[阈值 实验1 实验3 T F T F 0.8 0.94 0.02 0.90 0.02 0.7 0.95 0.03 0.93 0.05 0.6 0.95 0.04 0.94 0.07 0.5 0.96 0.03 0.95 0.09 ]
由表2可知，当阈值为0.5时，两组实验的T和F指标基本达到最佳平衡。结果显示在阈值为0.5时，实验1获得了96%的正确接受率，3%的错误接受率。而实验3仅实现了95%的正确接受率，9%的错误接受率，从而证明了人脸的热红外特征在融合了宽光谱特征后，识别性能得到有效提升。
4 结 论
本文提出的一种热红外图像和宽光谱融合的人脸识别算法，一方面，与现有的单模态人脸识别算法相比，该算法将人脸热红外特征和宽光谱数据信息进行融合，克服了可见光光谱和近红外光谱信息的局限性，具备可在夜间使用的优势。另一方面，与期望通过不同模态信息的转化生成，再进行识别的多模态识别算法相比，本文提出的融合算法使用了两种模态特征共同作为识别依据，在识别精度和实现的便捷性方面具有优势。
因此，图谱融合人脸识别算法利用热红外和宽光谱的互补特性，提升了人脸识别算法在复杂场景下的识别准确率和识别系统的稳定性，拓宽了人脸识别的应用场景。然而，本文是将人面部4个关键区域的宽光谱特征单独处理，未对不同区域特征之间的联系进行建模，如果加以区域特征联系建模，在未来有潜力进一步提升识别性能，这也是未来研究的重点。