人脸识别-视频监控

 提示:点击图片可以放大

方案概述

随着经济的发展,城镇建设速度加快,以及互联网的突飞猛进,导致城市中人口密集,流动人口增加,引发了城市建设中的交通、社会治安、重点区域防范、网络犯罪日益突出等城市管理问题,今后现代化城市的建设、网络信息必然将安全作为重中之重,与城市的经济建设处于同等重要的地位。近年来,社会犯罪率呈逐年升高的趋势,特别是网络犯罪更加的严重,网络逃犯频频发生,罪犯的犯罪手法也更加隐蔽和先进,给广大公安人员侦破案件增加了难度。同时,恶性事件时有发生,使人们对公共生活场所的安全感普遍降低。同时公安人员在对通缉犯进行人工排查时如大海捞针,成功率极低,效果也不
明显。主要有如下实际问题:
 1.首先,由于罪犯群体不断扩大,要在数以百万计的人员照片库中找出犯罪嫌疑人,不仅费时费力,还有可能造成遗漏等情况,破案的效率大打折扣。
 2.其次,目前公安机关侦察案件大多数仍然依靠事后追查和通缉,对已经发生的案件造成的损失很难有效弥补。
 3.最后,如果在案发的同时即能防患于未然,就能第一时间将损失控制在最小范围内。
 平安城市建设从最初的视频监控、卡口电警建设,系统已大量掌握了视频图像资源和卡口车辆数据和价值图片,但是针对人员侦查,身份确认还是需要通过技侦或网侦手段,无法充分利用视频图像资源快速定位人员身份。即使出动大量警力,采用“人海战术”但受制于肉眼识别劳动强度的极限,再加上人工排查效率不足,视频图像拍摄受光线、角度倾斜等不确定因素影响,无法保证查找的准确性和时效性,尤其出现突发紧急案件时,往往会贻误最佳破案时机。 如何提供更加丰富以及实用的“人像防控”应用,从“事后被动侦查”到“事前主动预警”将是平安城市下一建设阶段面临的主要需求。

需求分析 
人像大数据系统采用高效的人脸检测定位及识别比对系统,可以第一时间帮助公安侦查人员快速识别辨别特定人员真实身份,把过去人工排查海量的视频图像资源比对需求变成现实,从而有效的为公安视频侦查、治安管理、刑侦立案等工作提供实战上的有效帮助和解决方法。第二可帮助公安侦查人员办案时候追查和通缉,真正从打变为防,能够极大的减少警力资源浪费和事故发生概率。目前人脸抓拍比对系统主要应用在以下几个方面: 
公安治安人员黑名单比对实时报警:
 针对一些人员密集区域(如车站、地铁站、机场、社区等)的关键出入口、通道等卡口位置布置人员卡口,后端对重点关注人员、打防控人员进行黑名单布控,通过实时视频流比对布控黑名单,实现人脸比对识别。
不明身份人员身份确认:
 治安人员在日常巡逻、人员身份验证过程中,避免肢体接触和冲突,使用前端摄像机或手机进行抓拍,后端通过数据库进行人员信息比对分析,达到人员身份确认的应用。治安或刑侦人员对流动性人口中的无合法有效身份证件、无固定住所、无正当职业或合法经济来源的人员进行非接触性身份确认。
 重要点位重点人员身份排查:
 针对一些重要管控的区域,如大型保障活动,政府、公安出入口等布置前端摄像机对现场进行人脸抓拍,每日安排公安人员人工进行重点人员筛选排查。


建设目标 
1.3.1 动态人像天网建设 
1.3.1.1 非标人脸库建设 
协助公安针对当地扒窃人员、偷抢盗人员、上访人员、未成年犯罪人员建设人像采集环境,对现场人员进行人像采集和身份采集入库,为敏感人群、重点人群布控提供人像库支持。
 1.3.1.2 重点人员布控 
公安重点人员根据地区和目的不同划分不同类型,包括惯偷惯犯、涉恐、涉案、涉毒、水客等当地涉稳人员,同时也包括高危人员、敏感人员等。利用人像大数据系统,将重点人员进行城域级布控,同时后续刻画典型关注人员轨迹,进行高危行为预警研判。
 1.3.1.3 高危人员布控 
高危人员包括全国在逃人员、全国违法犯罪人员、重大犯罪前科人员、肇事肇祸精神病人等。人脸识别系统将利用实时视频和身份证信息等手段,可在火车站、汽车站、港口口岸出入口建设人脸卡口,对出入境人士进行审查识别。
 1.3.1.4 敏感人群布控 
敏感人群包括来自特殊地区、特殊身份、特殊职业等人员如来自新疆地区人群、个别少数民族人群、长期无工作人群、非法上访人群等。通过在出入境、关键人脸采集卡口对这些人群进行身份信息和人脸信息采集,通过人脸识别系统对敏感人群的身份信息、行为轨迹、出没时间等进行管控,从而做到敏感人群防控的目的。
 1.3.1.5 人证合一 
在汽车站、火车站、机场等身份证检查、其他民事应用中,可通过单兵、手机、相机对人员进行脸部拍照,并通过身份证读卡器读取身份证信息,通过拍照图片和身份证人脸确认是否人证合一,并上传照片至后端进行人脸识别确认是否属于重点布控人员。
 1.3.2 静态人像天网建设 
1.3.2.1 身份信息确认 
针对孤寡老人、三无身份人员、聋哑人员等无法确认身份的人员,可通过手机、相机等对人员进行脸部拍照,并上传后端比对常住人口或流动人口库,确认身份信息。
 1.3.2.2 身份信息查重 
对当地常住人口库、流动人口库或全国人员信息库中人员身份证进行人脸库自查重,排查一人多证的问题。
 1.3.2.3 洗白人员身份确认 
通过比对当地常住人口库&全国在逃人员库或当地流动人口库&全国在逃人员库进行人脸图片碰撞比对,排查两个库中相似人员人脸及身份信息,从而清洗出漂白身份的人员。

系统架构 



系统基于人脸识别核心技术,遵循公安行业信息化标准规范,依托综合可靠的通信网络、分布式数据库和集群计算等多项技术,充分考虑系统安全性、可靠性、可扩展性,可广泛应用于公共安全各业务领域的人脸比对综合应用平台,能有效地协助对不法人员的鉴别、抓捕和布控,保护国家安全和社会稳定。
系统由人像卡口、人脸识别服务器、人脸识别平台、存储设备、人像大数据系统五款产品组成。

人像卡口:前端摄像机包括普通高清网络摄像机和人脸抓拍单元。普通高清网络摄像机主要实现图像采集、编码、视频传输等功能。人脸抓拍单元不仅实现普通高清网络摄像机的所有功能,其内置自主研发的智能分析算法,还能实现对视频中人脸进行自动捕获、跟踪、抓拍等功能。同时人脸抓拍单元拥有人脸区域自动曝光优化、人脸小图优化处理等功能,更适合于人脸卡口场景下获取最优人脸图片;
人脸识别服务器:集人脸检测、人脸抓拍、人脸识别、人脸特征分类等多样化算法和分布式计算软件于一体,主要包括:1.人脸识别算法—采用基于神经网络的深度学习算法,构建动态人像识别服务、等多样化人脸识别服务,从而实现高效率、高准确率的人脸识别比对。2.分布式计算集群通过分布式计算软件统一对多台人脸识别服务器进行集群管理,从而进一步提高系统效率,适合大规模系统部署。3.系统运维管理服务负责对计算集群存储、性能、服务进行统一的运维管理,降低系统风险,提高用户体验。4.人像数据库—负责人脸图像和算法特征化数据存储,数据库内置提高系统耦合度,降低服务器于服务器之间的对接导致的系统风险。
人脸识别平台:集人像卡口管理、视频存储、流媒体转发、业务应用于一体,提供人脸识别系统的各项业务功能。
人脸视频存储:前端摄像机对实时视频的存储,可存储在平台下挂载的EVS
存储设备、云存储等专业监控行业存储设备中。


联网设计
方案一:
在公安视频专网中部署人脸识别系统,对出入口、重点道路等位置安装前端摄像机,并通过人脸识别系统平台进行统一管理。通过人脸识别平台对视频流转发到人脸识别服务器集群中,进行特征提取和识别比对,并反馈结果到人脸识别平台中。人脸识别平台将相关人脸报警和历史记录通过网闸共享到公安专网下,公安能够对重大嫌疑目标进行事后目标检索,目标轨迹跟踪,并根据目标出没时间和地点安排警力部署。


方案二:
在公安网中部署人脸识别系统,前端人脸卡口通过共享平台传输视频至公安网.公安网下人脸识别平台对接共享平台获取前端数据,导入识别服务器进行特征提取和识别比对,并通过人像大数据平台进行业务分析,数据挖掘等工作。



  

人脸识别流程 
系统数据流包含人脸实时比对和人脸历史查询。其中实时比对发生在事前或事中,当系统发现有布控人员出现时,执勤人员可以迅速作出反应;历史查询则是针对事后重点人员排查,可通过可疑人员图片查询系统记录的人员信息。


实时视频人脸比对:普通高清网络摄像机的实时视频流或人脸抓拍单元的人脸图片流,会由人脸识别服务器下的动态人像算法进行人脸特征数据提取,并实时与黑名单库中的人脸特征数据库进行遍历比对,并反馈平台每次比对结果。
图像检索人脸比对:通过平台客户端提交需检索的人脸图片/录像,人脸识别服务器自动提取人脸图片特征数据,与人脸抓拍库或人脸注册库中的人脸特征数据进行遍历比对,最后由平台展现比对结果。

人脸三大业务库

系统数据库应包含三种业务库:人脸抓拍库、人脸注册库和黑名单库。 人脸抓拍库-包含历史抓拍现场图片、人脸小图和结构化的人脸特征数据、抓拍地点、抓拍时间等信息,此类库的主要业务应用场景是图片检索比对,查询目标人
员的人像出没地点、时间、PGIS轨迹跟踪等;人脸注册库-主要是导入一些大规模的人像图片、结构化的人脸特征数据和身份信息,如地级市当地的社保人像信息库、当地常住人口信息库、当地流动性人口信息库等,导入后主要的应用场景是图片检索比对和身份信息查询,确定人员身份;
黑名单库-包含高危人员、特殊人员的人脸图片、结构化的人脸特征数据和人员身份信息,主要的应用场景是在各个人脸卡口进行实时人流的人脸比对预警。一般来说人脸抓拍库和人脸注册库做为静态库,适用于事后查询检索目标、黑
名单库作为动态库,用于实时比对报警。一个或多个黑名单也可以进行勾选布控,形成具有针对性的人脸布控库,与前端实时视频进行人脸比对报警。其中抓拍库因人流量和随着时间将越来越大,需根据项目情况合算存储设备大
小。黑名单库数据由公安或专业人员导入,存储大小一般有微调,但是不会有数量级上的变化。

动态人像比对 

前端系统部署设计 
规划和建设人像卡口平安城市项目时,前端抓拍点位的建设规划质量、成像效果等因素会直接影响后台人像大数据系统的应用成效。前端系统建设后需加强对酒店、网吧、旅馆、火车站、汽车站、小区出入口等重要人员落脚点进行覆盖,特别是覆盖重点单位和场所。同时可以在派出所、部分政府单位设置非标准人脸采集室,对进出派出所人员进行拍照建库。
 前端产品主要包括:
 普通高清IPC-通过视频流进行人脸布控比对。
 人脸抓拍单元-前端集成人脸抓拍算法,通过图片流进行人脸布控比对。
 前端应用场景主要包括: 
实时布控预警场景-后端通过布控黑名单,对前端摄像机传输的图像信息进行比对预警。非标人脸采集场景-人脸识别系统对实时图像进行人脸抓拍,并与身份证人脸进行比对,确认是同一个人的情况下,进行抓拍图片和身份信息关联入库。
摄像机实时监控方案选择 
目前针对视频进行人脸数据采集主要有以下二种技术方式:1、各监控摄像直接向后端传输视频流;2、各监控摄像直接向后端传输抓拍人脸图片流。两种方案优势如下:
 各监控摄像直接向后端传输视频流;
 1) 服务器计算资源远超摄像头,避免了摄像头因计算能力不足,在画面中人员多的情况下捕获率下降严重的问题。 
2) 由于视频流中的图像往往有不同的姿态。后端服务器在视频流中,每个过人事件会截取多张人脸进行比对,大大提升比对精度。 
3) 由于算法更新速度较快,前端集成人脸抓拍算法后,无法满足大批量的快速更新,相较于后端抓拍存在升级成本和及时性的问题。 
4) 充分利用服务器性能,可在后端加载大计算量的特征数据合成算法。能将抓拍效果优化,将焦距内外,模糊或清晰、角度各异的人脸自动合成一个最优特征数据用于比对识别。 
5) 前端抓拍漏抓率严重,一般只支持同时抓拍15-20张人脸,后端抓拍可充分利用服务器性能,动态调配服务器内抓拍能力,以达到繁闲摄像机共享整机性能。 
6) 人脸抓拍摄像机中的人脸区域曝光功能,常常会丢失大量人脸特征信息,只是在肉眼上看上去更清晰了,对算法提升并不大。 
7) 前端摄像机绝大部分性能用于人脸抓拍,将无法支持其他智能化功能,如车牌提取等。

各监控摄像直接向后端传输抓拍人脸图片流优势;

方案的优势
 1) 抓拍算法前置可降低服务器编解码性能,在服务器选型和性能利用和综合成本方面,前端抓拍更具性价比。 
2) 抓拍算法结合前端摄像机,可联动摄像机快速调整人脸区域曝光、人脸区域图像质量调优,可提供查看优质的人脸图像。 目前人像识别系统处于基础建设阶段,首位目的是将系统基础搭建好,前端抓拍短平快,但受限于前端摄像机,后续更替前端厂商或后端厂商的限制非常大。从长远考虑,需要在系统每个环节都拥有充分产品选择权。 

实时布控预警场景前端设计 
前端点位部署建议 
前端布控点主要安装高清摄像机,实现人脸信息的采集,并通过网络传输至节点管理系统。为保证人脸布控的效果,前端布控点所采集的图像须保证人脸效果清晰,为此,所选用的摄像设备应为分辨率在1080p或以上的高清摄像机。
除了分辨率,还应保证布控点所采集的每一帧图像清晰、稳定,由于布控点往往都是运动场景,要保证抓拍人脸的图像清晰不模糊,为此,一方面,人脸布控摄像机应具备超低照度、宽动态的特性,另一方面,当布控点周边光线环境不足时,应采取必要的补光措施以确保人脸的照度不低于200lux。安装位置选择现有各类视频监控系统,其摄像机的画面基本都是针对较大范围场景监控,对于具备超低照度、宽动态的特性摄像机而言,则是要让画面主要反映人员的脸部细节,并对人脸尺寸、清晰度、姿态角度有一定要求。尽量选择通道式场景安装,比如重点场合的出入口、人员经常出入或者事件频发的重要场所,比如机场口岸、车站、宾馆、网吧等。
 人像卡口推荐场景及要求 
 商场、餐厅、网吧、娱乐等场所大门口 
推荐场景:
 商场、餐厅、网吧等公共场所进出口,要求里外必须有两扇门,摄像机安装在室内正对大门口,相机不会直接照射到门外场景,适合做人脸抓拍:


(商场、餐厅、网吧等公共场所大门口) 



(抓拍人脸监控场景示例图)  不推荐场景:门口阳光直射,背光场景,造成人脸偏暗



公路、机场等安检通道
推荐场景:
公路、铁路、机场等公共运输安检通道,人员逐个通过且人流方向一致,适合做人脸抓拍场景:

(公路、机场安检通道)  摄像机实际安装监控效果:

(抓拍人脸监控场景示例图)  不推荐场景:背景背光严重,安检通道直接设置在进门口,形成强宽动态场景,此场景人脸抓拍效果较差(每天不同时间段光线变化明显,抓拍效果也有较大差别):

闸机(铁路、地铁)场景



(如地铁闸机口,出站口正前方安装人脸识别摄像机) 


不推荐场景:背后及侧边有强光源广告牌,背光场景易造成人脸偏暗及阴阳脸


(避免闸机后有广告牌,人脸抓拍不推荐场景示例图)