本文共 3171 字，大约阅读时间需要 10 分钟。

基于多模态融合的掌纹识别方法研究

随着生物识别技术的广泛应用以及对公共卫生的考虑，基于非接触式和不受拘束的掌纹识别系统受到广泛研究。同时，鉴于对识别精度和抗干扰性的要求，多模态融合识别算法在生物识别领域得到了广泛应用。本文提出了一种基于手表面图像的多模态融合识别算法，该算法通过提取手掌纹以及内指纹理（IFT）进行特征级融合识别，无需再获取其他生物特征，同时提高了识别精度。

目前，生物识别系统被广泛应用于行政办公、金融支付、社会保障以及物联网设备的身份认证等场景。传统的身份鉴定方法依赖于体外物品或知识型标识，存在易被盗及伪造的风险。相比之下，生物特征识别技术具不易遗忘、防伪性能好、不易伪造或被盗、随身“携带”和随时随地可用的优点。其中，掌纹识别作为一种新兴的生物识别技术，在19世纪90年代被提出。掌纹是指手腕与手指之间的手掌表面上的各种纹线，由遗传基因控制，具有独特性和稳定性。掌纹识别作为一种非侵入性识别方法，用户接受度高，对采集设备要求不高。

掌纹特征主要包括文线特征、点特征和纹理特征。文线特征是掌纹识别的核心特征，由几根伴随人一生不变的主线组成，且在低分辨率和低质量图片上也能清晰识别。点特征则是指掌纹乳突纹的奇异点及纹形，通常需要高分辨率、高质量的图像获取。纹理特征则是指比纹线更短、更细的纹线，其分布毫无规律，通常仅作为辅助特征使用。

目前掌纹识别算法主要分为结构方法和全局方法。结构方法包括基于主线和皱纹的识别，而全局方法则采用Gabor滤波器和形态学操作等技术。内指纹理的识别与掌纹识别相近，同样分为结构方法和全局方法。多模态生物识别通过结合多种生物测量信号，提高识别的安全性和普适性。在本文中，采用深度学习技术（DL），特别是基于卷积神经网络（CNN）的无监督学习方法，对掌纹和内指纹理特征进行融合识别。

深度学习技术在生物识别领域的优势在于其能够自动学习数据特征，适应异构条件下的生物特征样本，并且具有较少的捕获程序。在本文中，使用无监督过程训练的CNN模型，对掌纹和内指纹理进行特征提取和融合。该方法具有以下优势：(1)采用深度学习模型，模型由使用无监督过程训练的CNN组成，无需类标签；(2)对所有生物特征使用相同的CNN模型，分别适配掌纹和不同手指提取的IFT；(3)采用特征级融合提高识别精度，无需额外生物特征获取。

本文的结构安排如下：第二节介绍掌纹识别及其相关信息；第三节阐述本文提出的多模态融合识别方法；第四节展示实验结果；第五节探讨掌纹识别的安全威胁及发展方向。

相关工作回顾

掌纹识别作为一种新兴的生物识别技术，最早可追溯至19世纪90年代。掌纹的独特性和稳定性使其成为一种理想的生物识别特征。近年来，基于非接触式采集的掌纹识别技术因其低侵入性、高可靠性和高社会接受度而备受关注。与此同时，由于手掌图像能够同时获取掌纹和内指纹理信息，多模态生物识别算法在提高单一生物特征识别精度方面展现出显著优势。

解决方法

本文提出了一种基于PCANet的多模态融合识别方法，该方法通过对掌纹和内指纹理特征进行特征级融合完成生物识别。PCANet是一种基于主成分分析（PCA）的无监督CNN训练过程，已成功应用于人脸识别和指纹识别等领域。在本文中，提取了五种生物特征：掌纹、食指IFT、中指IFT、无名指IFT和小指IFT。由于PCANet要求图像对齐，分别对五个特征进行计算。为此，我们采用基于手指之间谷点的参考系统对四个IFT和掌纹进行分割。对于每种生物特征，PCANet输出一个表示生物特征模板的一维特征向量。接着，对得到的生物特征进行特征级融合，得到一个对每只手的单一特征模板。最后，采用基于欧氏距离的K-NN分类器（k=1）对模板进行分类。

实验结果

本文采用REgim Sfax Tunisia (REST) hand database 2016进行实验。该数据库包含358名个体的1945掌纹样本，年龄从6岁到70岁不等。实验结果表明，未混淆情况下掌纹识别精度达到93.03%，四个IFT的识别精度分别为72.07%、87.63%、77.69%和58.09%。在混淆情况下，整体识别精度提升至94.46%。

安全威胁与发展方向

掌纹识别技术虽然具有诸多优势，但也面临着多种安全威胁。表现攻击是目前掌纹识别领域最主要的安全威胁之一，这类攻击通过复制真实生物特征并提交给传感器进行识别。当前主要的攻击手段包括使用手部照片、对手部进行3D建模以及佩戴受害者掌纹的橡胶手套等。

针对这些威胁，学术界提出了多种防御方法。首先是基于多模态生物特征融合的方法，将手表面特征与掌脉特征相结合，这种方法能有效防御图片欺诈。其次是基于2D和3D特征融合的识别方法。未来发展方向主要包括：(1)开发更强大的抗表现攻击算法；(2)探索更高效的多模态特征融合方法；(3)推动掌纹识别技术在更多应用场景的落地应用。

参考文献：

[1]刘丽丽，宋进，《人脸识别技术在行政办公中的应用》，办公自动化，2020年19期，第56~57页。[2]中国工商银行软件开发中心数字化银行实验室，《深化金融科技应用 构建数字化银行》，杭州金融研修学院学报，2020年09期，第10~12页。[3]秦靖沂，人社部信息中心，《生物识别在社会保障领域应用》，中国社会保障，2020年06期，第30~33页。[4]Angelo Genovese, Vincenzo Piuri, Fabio Scotti, Sarvesh Vishwakarma，Touchless Palmprint and Finger Texture Recognition: A Deep Learning Fusion Approach，2019。[5]X. Wu, D. Zhang, K. Wang, B. Huang,Palmprint classification using principle lines, Pattern recognition, vol. 37, pp. 1987-1998, 2004。[6] J. Chen, C. Zhang, G. Rong, Palmprint recognition using crease. In Proceeding of international conference on image processing, vol. 3, pp. 234-237, 2001。[7]D. Zhang, W. Kong, J. You, M. Wong, Online palmprint identification, IEEE Transaction Pattern Analysis Machine Intelligent, vol. 25, pp. 1041-1050, 2003。[8]Shruti Bhilare, Vivek Kanhangad, Narendra Chaudhari. A study on vulnerability and presentation attack detection in palmprint verification system. 2018, 21(3):769-782。[9]李新春,马红艳,林森.基于局部邻域四值模式的掌纹掌脉融合识别[J].重庆邮电大学学报(自然科学版),2020,32(04):630-638。[10]严娇娇. 基于掌纹与掌静脉双模态融合特征识别研究[D].西北大学,2018。[11]王颖,惠晓威,林森.基于局部线性二值模式的掌纹掌脉融合识别[J].传感器与微系统,2018,37(04):112-115+120。