一文看懂人脸识别技术

1

什么是人脸识别？

人脸识别 ( Face Recognition) 是一种基于人的面部特征信息进行身份识别的生物特征识别技术 。近年来 ， 随着人工智能 、 计算机视觉 、 大数据 、 云计算 、 芯片等技术的迅速发展 ， 人脸识别技术取得了长足的进步并且在众多场景中得以成功应用 。

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术 ， 包括人脸视图采集 、 人脸定位 、 人脸识别预处理 、 身份确认以及身份查找等 ；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术和系统 。此外 ， 部分应用场景下还可能涉及质量评价 、 活体检测等算法模块。

人脸识别的应用模式主要包括三种：

（1）、人脸验证 (Face Verification) : 判定两张人脸图像是否属于同一个人 ，常用于身份认证如人证核验 。

（2）、人脸辨识 ( Face Identification) : 给定一张人脸图像 ， 判断是否在注册库中 ， 若在则返回具体的身份信息 ， 常用于静态检索或动态布控 。

（3）、人脸聚类 ( Face Clustering) : 给定一批人脸图像 ， 将相同人的图像归类到同一个类 ， 不同人的划分为不同的类 ， 常见的应用有智能相册 、 一人一档等。

2

技术细节

1、 人脸识别技术原理

当今主流的人脸识别算法 ， 主要包括人脸检测 、 人脸预处理 、 特征项提取 、比对识别 、 活体鉴别五大步骤 。其中人脸检测 、 人脸预处理 、 特征项提取可统称为人脸视图解析过程 ， 即从视频和图像中检测出人脸 ， 通过图像质量判断 ，选取合适的人脸图片 ， 提取人脸特征向量 ， 用于后续比对识别 ；比对识别处理可以分为人脸验证 （ 1 ：1 ） 和人脸辨识 （ 1 ：N ） 两类 ；活体鉴别算法用以判断人脸识别处理中的人脸图像 ， 是否采集自真实人体 。

在实际应用中 ， 除了上述人脸识别算法 ， 前端视图采集技术 、 人脸数据存储技术 、 应用软件管理技术也是人脸识别技术应用中重要的技术部分 。

2、人脸识别技术优势及局限性

● 技术优势。在不同的生物特征识别方法中 ， 人脸识别技术有其自身特殊的优势 ， 因而在生物识别中有着重要的地位 。

（1）、 非侵扰性 ， 人脸识别无需干扰人们的正常行为就能较好地达到识别效果 ， 只要在摄像机前自然地停留片刻 ， 用户的身份就会被正确识别 。

（2）、便捷性 ， 人脸识别采集设备简单 ， 使用快捷 。一般来说 ， 常见的摄像头就可以用来进行人脸图像的采集 ， 不需特别复杂的专用设备 。图像采集在数秒内即可完成 。

（3）、友好性 ， 通过人脸识别身份的方法与人类的习惯一致 ， 人和机器都可以使用人脸图片进行识别 。

（4）、非接触性 ， 人脸图像采集 ， 用户不需要与设备直接接触 。另外 ， 可以在比较远的距离进行人脸图像的采集 。装配了光学变焦镜头的摄像头 ， 焦距可以提高到 10 倍以上 ， 使景深范围扩展到 50 米以外 ， 实现对远景清晰拍照 ，有效采集远处的人脸图像 。

（5）、可扩展性 ， 在人脸识别后 ， 通过对识别结果数据进行下一步处理和应用 ， 可以扩展出众多实际应用方案 ， 如应用在出入门禁控制 、 人脸图片搜索 、上下班刷卡 、 非法人员识别等各个领域 。

（6）、隐蔽性强 ， 安全领域对于系统隐蔽性有较强要求 ， 人脸识别在这方面比指纹等方式更具优势 。

（7）、强大的事后追踪能力 ， 系统记录的人脸信息是非常重要且易于利用的线索 ， 更加有利于进行事后追踪应用 。

（8）、准确度高 ， 相比于人体 、 步态等其特征 ， 人脸特征具备更强的鉴别性与更低的误报率 ， 所能应用的底库规模上高出许多 ， 目前超大规模 （ 十亿级别 ） 的人脸检索已经可以实用 。

● 技术局限。人脸识别技术由于相似脸 、 年龄 、 算法偏见 、 面临的场景多样化以及人脸图像更易公开获取等原因 ， 技术本身也面临着一定的局限性 。

（1）、相似脸较难解决 。双胞胎或者长相很相近的人脸容易识别错误 ， 而该问题在目前暂时没有新技术能完全解决 。NIST 分析报告指出 ， 大部分情况下双胞胎仍能区分分数高低 ， 但是往往都在阈值之上 ， 在开放环境下应用效果较差 。

（2）、算法偏见问题 。由于当前人脸识别算法很大程度依赖于数据样本 ，但是不同人群的人脸数据样本存在差别 ， 这导致了算法对不同地域 、 不同年龄人群的识别能力有差别 。美国国家技术标准研究院 NIST 的检查表明 ， 人脸识别软件在不同地域 、 种族 、 性别 、 年龄上存在较大差异 。比如 ， 小孩子 ， 老年人以及其他很少出现的人种或者肤色的人脸识别率相对较低 ， 该问题亟需解决 。

（3）、人脸识别率易受多种因素影响 。现有的人脸识别系统在用户配合 、采集条件比较理想的情况下可以取得令人满意的结果 。但是 ， 在用户不配合 、采集条件不理想的情况下 ， 会影响现有系统的识别率 。例如根据 NIST 的测试报告 ， 戴口罩情况下大部分算法的错误率会提高 1 个数量级以上 ， 跨年龄 、 大角度等因素也会造成不同程度的下降 。

（4）、年龄变化的影响 。随着年龄的变化 ， 面部外观也会变化 ， 特别是对于青少年 ， 这种变化更加明显 。对于不同的年龄段 ， 人脸识别算法的识别率也不同。

（5）、安全性问题 。人脸识别系统信息存储同样会面临黑客的攻击 。所以对数据加密很重要 。随着技术的不断提升 ， 人脸识别技术在安全性上需要加强 。

3、 人脸识别技术的发展趋势

随着人脸识别技术的广泛应用 ， 也在不断促进技术本身持续发展 。基础算法研究 、 人脸重建技术 、 戴口罩人脸识别 、 3D 人脸识别技术 、 新型人脸采集技术 、人脸聚类技术和低质量人脸识别技术 ， 是产业界和学术界关注的热点课题 ，也预示了人脸识别技术的发展趋势 。

基础算法技术热点包括模型结构设计 、 损失函数设计 、 无监督 / 半监督学习算法和分布式自学习算法等 。模型结构设计目前主要有手工设计与网络结构搜索 (NAS) 两种思路 。ICCV 2019 轻量级人脸识别 (Lightweight Face Recognition) 竞赛结果显示 ， 虽然对大模型场景下结构改进带来的提升则较为有限 ， 但是轻量级场景下网络结构改进对于识别率提升较为明显 。

损失函数设计的核心在于学习具备鉴别性且足够鲁棒的特征 。近年来基于度量学习与各类 margin — based 方法逐渐成为主流。在特征提取加速方面 ， 主要的方法有轻量级网络 、 模型蒸惚 、 稀疏量化等 ；在特征比对加速方面 ， 主要的思路有量化以及各类近似最近邻检索技术 。

低质量人脸识别技术。在实际的动态应用场景下 ， 人脸识别技术由于场景的不可控因素 ， 采集到的图片质量与训练图片的质量有很大差异 ， 如人脸偏转 ， 大幅度侧脸 ；运动模糊和失焦模糊 ；遮挡物(例如口罩 ， 墨镜) ；低的光照强度和对比度 ；视频传输由于编解码过程产生的人脸信息丢失等 ， 这些因素导致准确率极度下降 。

针对这些具体问题 ， 研究人员提出综合利用各种图像增强技术和图像生成技术对人脸识别算法准确率进行提升的方法 ， 如采用对抗式生成网络对摄像头的风格进行迁移 ， 采用基于深度学习的方法对小尺寸模糊人脸进行超分辨率重建和基于注意力机制对人脸图片进行去模糊处理等 。

此外 ， 3D 人脸识别技术也可以有效解决复杂场景下人脸单模态鲁棒性不足问题 ， 如大角度 、 遮挡引起的效果下降问题 ， 常用的融合策略有相似度融合 、 特征融合 、 决策融合等 。

戴口罩人脸识别技术。今年新型冠状病毒疫情期间戴口罩人脸识别受到较大关注 。常用的解决方法有数据增强 、 遮挡恢复 、 多部件模型融合等 ， 可应用在人脸布控 、 陌生人检测 、 无感通行中 ， 均不需要摘下口罩 ， 在 30 万人像库的规模下 ， 戴口罩人脸识别准确率可大于 90% 。

人脸聚类无论是在个人领域的相集管理还是在智慧城市治理领域都有较为广泛的应用 。早期主要基于传统的聚类方法如 k-means 等 ， 但效果不佳 。近年来 ， 基于 GCN 的人脸聚类方法崭露头角 。实际业务中 ， 时空信息的挖掘也是研究的热点 。

特定群体识别技术。针对儿童/老人 、 不同肤色群体的人脸识别 ， 有标签的数据较少 ， 而无标签的数据更多些 。研究人员提出可以利用半监督/无监督学习方法带来性能的进一步提升 。同时 ， 对抗 、 域适应等方法也是研究人员较为关注的方法 。在特定群体识别中 ， 应考虑如何方便老年人使用人脸识别系统 。

为了防范照片 、 视频 、 头模等假体对人脸识别系统的攻击 ， 呈现攻击检测算法也是研究的热点 ， 主要检测原理包括 ：

a ） 离散图像检测方式 ， 即利用一幅或多幅图像进行判断 ；

b ） 连续图像检测方式 ， 即采用连续图像序列进行判断，如检测显示器边缘 、 边框 、 屏幕反光 、 像素点 、 条纹分析等进行判断 ；

c ） 用户主动配合检测方式 ， 即通过指令要求用户完成相应动作如点头 、 抬头 、左右转头 、 张嘴 、 眨眼 、 跟读屏显提示信息等进行判断 ；

d ） 基于辅助硬件设备的检测方式 ， 即利用辅助硬件设备获取更多判断依据辅助进行判断 ， 如利用深度摄像头采集人脸深度信息或利用特定波长光源投射并检测在皮肤或非皮肤材质上产生的发射率差异等 ；

e ） 用户被动配合检测方式 ， 如 ：利用静脉血管 、 肌肉 、骨骼 、 静脉血液中脱氧血色素对红外线的吸收特性 ， 判断其是否来自活体 ；通过特定指令引导用户眼球运动 ， 并通过跟踪眼球运动以判断是否为真实活体 。

多模态融合识别技术。多模态融合识别技术可以有效解决复杂场景下人脸单模态鲁棒性不足问题 。如大角度 、 遮挡 、 像素过低引起的效果下降问题或应用场景对于安全性可靠性要求很高的场景 ， 多模态可以增强识别的可信度 。

多模态识别有两个发展方向 ， 一个方向是在脸部图像特征识别的基础上 ， 增加头肩和形体的识别 ， 这种技术的好处是可以不必增加额外的采集单元 ；另外一个方向是 ， 融合其他生物识别模态 ， 如静脉纹理 ， 声纹信息等 ， 这种技术除了能够提高算法的鲁棒性之外 ， 还可以提高活体验证的可信度 ， 在行业里受到了较为广泛的关注 。

3

行业发展

1、行业发展概述

随着云计算 、 大数据 、 物联网 、 人工智能等计算机科学技术的飞速发展以及人脸识别技术在实际应用中的不断成熟 ， 人脸识别技术在智慧安防 、 智慧城市 、 智能家居 、 移动支付等领域继续大放异彩 ， 并且人脸识别的一些新应用场景也不断地被挖掘出来 。

全球人脸识别行业规模依然在以非常高的速度进行增长 。根据MarketsandMarkets 发布的全球人脸识别市场相关报告 ， 预计全球人脸识别市场规模将从 2019 的 32 亿美元增长到 2024 年的 79 亿美元 ， 在预测期内（ 201 9-2024 年 ） 将以 16.6% 的复合年增长率进行增长 。

国内方面 ， 中国人脸识别技术投入在 2017-2018 年达到巅峰 ， 根据 IHSMarkit 的数据 ， 2018 年 ， 中国在全球人脸识别市场的业务占据了将近一半的份额 。2019 至 2020 年 ， 人脸识别技术发展趋于平缓 ， 进入理智期 。依据 IT 桔子数据统计 ， 截至目前 ， 中国人脸识别技术总投资额达到 406 亿元 。前瞻产业研究院预计 ， 未来五年人脸识别市场规模将保持 23% 的平均复合增长速度 ，到 2024 年市场规模将突破 100 亿元 。

2、典型应用领域

科技金融。人脸识别在金融领域的应用已经相当普遍，如远程银行开户 、 身份核验 、保险理赔和刷脸支付等 。人脸识别技术的接入，能有效提高资金交易安全的保障 ， 也提高了金融业务中的便捷性。

2013 年芬兰公司 Uniqul 成为首批吃螃蟹的公司 ， 面向全球首次推出人脸识别支付这一创新支付技术 。2015 年在德国汉诺威 CeBIT 展会上马云第一次向德国总理默克尔展示了支付宝的人脸识别支付技术 。同年 ， 招商银行在一些支行柜面和ATM业务也开始应用人脸识别 ， 随后包括建设银行 、 农业银行等四大行在内的数十家银行都纷纷将人脸识别产品引入ATM 、 STM 、 柜面 、 网点 、手机银行等各个业务环节 ， 并逐渐全客户覆盖 。

时至今日 ， 人脸识别技术在国内金融领域已经得到了非常广泛的部署和应用 ， 消费者在各个渠道中都可以利用人脸识别技术使用金融服务 ，中国在人脸识别技术的应用上已经大幅度领先国外市场。

智慧安防。安防是人脸识别市场最早渗透 、 应用最广泛的领域 。根据亿欧研究 ， 2018年 ， 安防行业在中国人脸识别市场占比 61.2% 。当前人脸识别技术主要为视频结构化 、 人脸检索 、 人脸布控 、 人群统计等软硬件一体形态产品提供基础支撑,重点应用于犯罪人员的识别追踪 、 失踪儿童寻找 、 反恐行动助力等场景 。

视频监控系统通过庞大的监控网络进行图像采集 、 自动分析 、 人脸比对 ， 基于视频帧的 1 ：1 及 1 ：N 人脸比对 ， 可分析人员轨迹 、 出行规律等 ， 实现重点人员的识别及跟踪 ， 在公安应用场景中达到事前预警 、 事中跟踪 、 事后快速处置的目的 。在雪亮工程 、 天网工程 、智慧社区 、反恐及重大活动安保等公安项目发挥了重要的作用 。

此外 ， 在企业楼宇 、 社区住宅的人员管理和安全防范需求场景下 ， 人脸识别技术应用非常广泛 ， 通过人脸的黑白名单录入 ， 可有效管控区域人员出入 ，机器识别的高效率也大幅节省了人力资源。

智慧交通。国外的公共交通领域对人脸识别技术的应用主要集中在机场安检以及入境管理等特别强调安全的场景 。加拿大渥太华国际机场 、 澳大利亚当地移民及边境保护局与美国海关与边境保护局皆已尝试部署人脸识别出入境系统。

国内交通领域的人脸识别应用主要包括 1 ：1 人脸验证和 1 : N 人脸辨识 。目前利用人脸核验证技术的刷脸安检已进入普遍应用阶段 ， 在高铁站 、 普通火车站和机场皆已大面积推广 。而应用 1 ：N 人脸比对技术的刷脸支付主要落地在地铁公交等市内交通 ， 这种技术能够极大提高通勤人员的出行效率 ， 释放大量的人力资源 ， 提升出行体验 。同时 ， 人脸识别可以对交通站点进行人流监测 ，根据人员出行规律预测交通人流高峰 ， 提前做好疏导预案 。

除此之外 ， 在交通违规管控方面 ， 人脸识别技术可以帮助执法人员更快速高效地找到违规人员身份信息 ， 并结合车辆识别等技术进行跟踪拦截。

民生政务。政务互联网平台、 公积金 、 社保 、 税务 、 网证 、 交通管理 、 行人闯红灯 、缴交交通罚款 、 住建等民生政务系统 ， 已经使用或正在使用人脸识别系统 。政务服务领域的业务点主要有私有云平台搭建 、 政务服务自助终端 、 便民服务平台 。 

人脸识别在政务系统的落地 ， 提升了民众的办事效率 ， 公民可以不用窗口排队 ， 实现自助办事 ， 节省了因人工效率低下产生的耗时 。部分政务还可以通过在线人脸识别认证 ， 在移动端线上办理 ， 减轻了 “ 办事来回跑 、 办事地点远 、办事点分散 ” 的困扰 。

教育考试。智慧教育在高速发展的同时 ， 不断深入采用物联网 、 云计算 、 大数据等先进信息技术手段 ， 实现各种教育管理与教学过程数据的全面采集 、 存储与分析，并通过可视化技术进行直观的呈现 。

在这个过程中 ， 相关科技企业基于自身在人工智能 、 视频可视化技术 、 出入口门禁管理 、 大数据 、 云计算等领域积累的技术产品经验 ， 致力于推动智慧教育的行业发展 ， 打造升级智慧校园 、 智慧教室 、 智慧宿舍 、 智慧图书馆 、 智慧食堂 、 智慧超市等教育相关的安全管控 、 课堂考勤 、 刷脸消费和智能化体验 。同时 ， 人脸识别技术也应用在考生身份确认 。

智能家居。人脸识别在智能家居中主要应用在安全解锁和个性化家居服务两个场景 。在安全防范方面 ， 人脸识别可以提供相对安全和便捷的入户解锁技术 ， 将可能逐步替代传统密码或指纹门锁 。智能门铃可以通过人脸识别对访客身份进行识别 。另外家中的监控摄像头可以实时监测 ， 如发现陌生人脸立即提醒住户并报警 。

在个性化家居服务方面 ， 智能电视可以采用人脸信息录入的方式创建账号 ，机器通过人脸识别认证 ， 有针对性的进行内容推送 ， 实现个性化定制 ；智能冰箱可通过人脸识别技术 ， 针对不同的用户爱好 、 人脸状态 ， 推送菜谱及营养建议 。人脸识别技术在智能家居行业的应用 ， 为市民带来了更便捷 、 舒适的生活方式 。

3、 行业发展趋势

应用场景向各行业渗透 ， 市场规模增长趋势出现分化。随着技术发展和安全性要求的提高 ， 人脸识别技术在行业应用中发生巨大变化 ， 从安全性可靠性要求较低的行业上升到金融社保 、 证券 、 银行 、 互联网金融等安全可靠性要求较高的行业 。我国人脸识别技术目前主要运用在公共安防 、 门禁考勤 、 金融支付三大领域 。

区分不同的应用领域来看 ， 其趋势逐渐出现分化 。从 2019 年看 ， 安防作为人脸识别最早应用的领域之一 ， 其市场份额占比在 30% 左右 。随着雪亮工程 、 智慧城市建设的逐步完成 ， 人脸识别在安防领域逐渐从增量市场转变为存量市场 。 

人脸识别在门禁考勤领域的应用最为成熟 ， 约占行业市场的 42% 左右 ， 随着智慧楼宇 、 智慧社区 、智慧家居的进一步发展 ， 人脸识别门禁考勤市场也将随之增长 。金融作为人脸识别未来重要的应用领域之一 ， 目前约占行业的 20%, 并且市场规模在逐步扩大 。

全球公共卫生环境变化，人脸识别迎来应用新需求。新冠肺炎疫情的爆发并在全世界流行 ， 威胁人类生命安全与健康 ， 引发了一场全球公共卫生危机 。相对于指纹 、 刷卡等接触式身份识别模式 ， 人脸识别等非接触式识别模式更适用于当前受新冠病毒影响的全球公共卫生环境 ， 减少病毒通过接触感染人群 。

一方面 ， 人脸识别技术结合红外体温监测技术 ， 获取人员身体健康状况信息 ， 能及时反馈并控制疫情源头 ；另一方面 ， 监控系统的全面布控 ， 可检测获取重点人员流动信息 ， 帮助政府防控管制措施做到有的放矢。

目前全球公共卫生环境形式依旧严峻 ， 根据智源发布的 《 人脸识别与公共卫生调研报告 》 显示 ， 受访者普遍赞同加强人脸识别技术的能力 ， 81.9% 的人同意增强对戴有口罩的人的面部识别 。为完善疫情防控体系 ， 进一步阻断传播源 ， 戴口罩人脸识别技术的新需求浮出水面 。

近年来 ， 信息量的爆炸式增长给数据传输存储及中心计算带来了巨大的压力 ， 边缘计算应运而生 。随着 AI 芯片技术的飞速发展 ， 边缘计算设备的算力不断提高 ， 越来越多的计算由边缘侧承担 。一方面 ， 边缘计算能有效缓解带宽承载 ， 提高计算传输效率 ， 满足实时响应需求 ， 增强数据安全性 ；另一方面 ，模型压缩及加速技术以及适合人脸识别算法运算的专用 AI 芯片不断完善 ， 边缘设备的人脸识别算法精度持续提升 ， 目前基于 AI 芯片的边缘设备应用基本覆盖社区 、 学校 、 医院 、 园区 、 交通等场景 ， 支撑人脸识别的大规模应用 。

云边端协同部署 ， 人脸识别应用迎来新场景新模式。云边端的协同部署模式将人脸识别应用模块分摊到各部分 ， 通过前端边缘计算实现布控报警 ， 边端对人脸特征做聚类分析 ， 云端汇聚有效信息 ， 进行大数据对比分析 ， 开展调度工作。

云边端协同部署方式缓解了云端压力 ， 支持业务分级响应 ， 云边结合人脸识别系统通过对云端和边缘端资源的统一配置 、 管理 、 调度 ， 融合了边缘计算敏捷性和云端大数据全局性的优势 ， 使人脸识别系统在带宽 、 并发数 、 响应速度等维度性能全面提升。

在未来 ， 边缘端设备的视频编码能力和视频特征抽取能力将进一步加强 ，AI 应用也会将越来越多的计算承载分摊到前端 。云端则由人像系统 、 视频结构化系统 、 人脸人体聚类分析等服务组成 ， 通过分析 、 聚类 、 归档形成各种主题库 ， 跟各种业务应用打通 ， 满足更多复杂场景下的智能化应用需要。

国内市场竞争激烈一方面体现在竞争厂商多 ， 包括传统安防企业 、 AI 初创企业和平台生态企业 。传统安防企业从安防市场出发 ， 对安防视频行业的痛点和客户需求理解较深 ， 拥有产品+集成的优势 ， 已构建起很强的规模效应壁垒 。

AI 初创企业主要是一些新兴的专注于做算法的计算机视觉 （ CV ） 初创企业 ，以 AI 算法为核心优势 ， 同时兼顾 “ 硬件落地 ” 及 “ 产品化 ”。平台生态企业 ，依托其强大的云平台以及云计算能力 ， 以云平台为核心横向切入 ， 整合合作伙伴的应用方案 ， 构建统一的生态体系 ， 并形成差异化竞争。

国内市场竞争激烈另一方面体现在全产业链竞争 ， 从算法竞争延伸到芯片和平台竞争 。主要市场参与者都已经加入 AI 芯片竞争中 ， 安防企业注重边缘侧和端侧的推理芯片 ， 初创公司更注重边缘侧推理芯片 ， 而平台生态企业则注重端 / 云一体 ， 构建从训练到推理的全栈 AI 生态 。下游的竞争主要是应用层的竞争 ， 是生态的竞争 ， 是深耕行业的竞争 。

总体来看，当前我国的人脸识别技术与应用在国际上处于领先地位 ，在科技金融 、 智慧安防 、 智慧交通 、 民生政务 、 教育考试 、 智能家居等多个领域得到了广泛应用。但是，近一年人脸识别技术也出现了很多不良影响，“售楼处暗藏人脸识别”、人脸信息泄露等问题屡见不鲜。随着技术门槛的逐步降低，加强安全技术的研发和应用，完善相关的法律法规变得尤为重要。

审核编辑 ：李倩