AI视频智能分析在明橱亮灶/冷库智慧监管的应用

1. 背景介绍

【背景一】2015年5月***总书记针对食品问题发表“四个最严”要求，“让人民群众吃得安全放心”。2016年1月中共中央政治局常委、国务院总理李克强作出批示指出各级政府要坚持人民利益至上，切实发挥食安委统一领导、综合协调作用，以改革精神和法治思维，坚定实施食品安全战略，加快健全从中央到地方直至基层的权威监管体系，落实最严格的全程监管制度，严把从农田到餐桌的每一道防线，对违法违规行为零容忍、出快手、下重拳，切实保障人民群众身体健康和生命安全。

2019年5月20日，中共中央国务院发布《关于深化改革加强食品安全工作的意见》，提出了两个目标，六项原则。两个目标：其一，到2020年，初步建立基于风险分析和供应链管理的食品安全监管体系。其二，到2035年，基本实现食品安全领域国家治理体系和治理能力现代化。六项原则：坚持安全第一、坚持问题导向、坚持预防为主、坚持依法监管、坚持改革创新、坚持共治共享。

【背景二】根据国家和各地方关于新冠肺炎疫情常态化防控工作部署，为全面贯彻落实“外防输入，内防反弹”、“人物同防”的总体策略，切实做好进口冷链食品全流程各环节新冠肺炎疫情常态化防控工作。

贯彻落实《国务院应对新型冠状病毒感染肺炎疫情联防联控机制关于做好新冠肺炎疫情常态化防控工作的指导意见》《新型冠状病毒肺炎疫情防控指挥部关于做好新冠肺炎疫情常态化防控工作的实施意见》有关要求，坚持科学合理、适度管用、突出重点、分类施策的常态化防控原则，结合国家和省分区分级管控标准，坚定信心、同舟共济、科学防治、精准施策，毫不懈怠抓好进口冷链食品常态化疫情防控各项工作。

2021年11月14日，据新浪财经报告，大连累计报告新冠肺炎确证病例235例，主要传播链都是定点冷库/餐饮单位的相关的食品公司。2021年12月广东拦截14起冷链食品阳性事件。新冠疫情下，多批次输入性冷冻产品检测出病毒，相关食品从业人员风险加大，整体管控易出现风险漏洞。

主管部门缺少智慧化集中监控监管手段，监测效能及风险管控能力亟待提升。

国家市场监督管理总局及各地市场监管局，相续出台政策强化冷链运输监管，强化冷链运输环节疫情防控手段。

【背景三】相关政策支持文件：《中华人民共和国食品安全法》、《餐饮服务明厨亮灶管理办法》、《企业食品安全与营养健康管理规定》、《国务院关于积极推进“互联网+”行动的指导意见》、《校园食品安全守护行动方案（2020—2022年）》。

2. 需求分析

根据国家市场监管总局政策文件，各地冷链进口集中监管仓，入仓查验区、核酸采样、消毒、装卸货等关键点安装AI抓拍识别设备，各地视频流数据、AI报警数据上报到国家市场监管总局。

拟对全省/全市所有冷库集中监管仓/餐饮单位部署AI分析，实现视频互联互通、AI数据上报、AI语音预警提醒等功能。

【视频联网互联互通】冷库/餐饮单位视频监控可通过AI接入网关无缝接入，AI接入网关可通过互联网、VPN或专线联网，云端AIoT管理平台通过GB28181协议与以及云边协同，实现AI分析预警，互联互通，可实现区/县、市、省视频监控互联互通，满足监管需求以及向社会面开放需求。

3. 功能检测

算法功能检测、识别预警

【未戴口罩识别预警】

冷库区域的网络摄像机通过冷库AI接入网关，以及AIoT平台“云+边协同”实现AI智能分析，实现对工作人员是否戴口罩情况进行实时检测，工作人员在工作时间段出现未戴口罩情况自动产生报警，上报到平台

【未戴帽子识别预警】

冷库区域的网络摄像机通过冷库AI接入网关，以及AIoT平台“云+边协同”实现AI智能分析，实现对工作人员是否戴帽子情况进行实时检测，工作人员在工作时间段出现未戴帽子情况自动产生报警，上报到平台

【未穿防护服识别预警】

冷库区域的网络摄像机通过冷库AI接入网关，以及AIoT平台“云+边协同”实现AI智能分析，实现对工作人员是否穿防护服情况进行实时检测，工作人员在工作时间段出现未穿防护服情况自动产生报警，上报到平台

【老鼠识别预警】

冷库区域的网络摄像机通过冷库AI接入网关，以及AIoT平台“云+边协同”实现AI智能分析，实现对冷库存储区域鼠患情况实时检测，当发现老鼠出没情况自动产生报警，上报到平台

【货柜号识别】

冷库区域的网络摄像机通过“冷库AI接入网关+AIoT平台云边协同”，实现对冷链运输车的货柜号实时检测，货柜编码上报到平台

【未戴厨师帽识别预警】

厨房区域的网络摄像机通过AI边缘计算盒，实现对工作人员是否戴厨师帽情况进行实时检测，工作人员在工作时间段出现未戴厨师帽情况自动产生报警，上报到平台

【未穿厨师服识别预警】

厨房区域的网络摄像机通过AI边缘计算盒，实现对工作人员是否穿白色厨师服情况进行实时检测，工作人员在工作时间段出现未穿白色厨师服情况自动产生报警，上报到平台

【抽烟识别预警】

厨房区域的网络摄像机通过AI边缘计算盒，实现对工作人员是否抽烟情况进行实时检测，工作人员在工作时间段出现抽烟情况自动产生报警，上报到平台

【打电话识别预警】

厨房区域的网络摄像机通过AI边缘计算盒，实现对工作人员是否打电话情况进行实时检测，工作人员在工作时间段出现打电话情况自动产生报警，上报到平台

4. 建设方案

【组网架构】

如图，我司AI冷库/餐饮单位监管解决方案包括：前端网络摄像机，AI接入网关、云端AIoT管理平台、云AI服务引擎、流媒体服务组成。针对前端可部署AI接入网关，可通过RTSP、Onvif协议接入已建或新建的网络摄像机。AI接入网关可对视频流进行实时分析（未戴口罩、未戴帽子、未穿防护服、货柜号、老鼠识别、未戴厨师帽、未穿厨师服、抽烟识别、打电话识别）。AI接入网关可通过互联网/专网/VPN链路与云端AIoT管理平台、流媒体服务器互联互通，云管理平台可部署于公有云或政务云。AIot管理平台实现边缘端AI设备统一管理，实现AI算法云端实时分析，算法自学习，并可实现云端算法自定义，云端算法模型一键下发等功能，流媒体服务可实现十万级以上高清视频点播。

【逻辑构架】

 

如图，AI+监管产品逻辑构成：AI智能硬件、AI算法、AI系统平台组成。AI硬件有AI接入网关，以及云端AI分析引擎服务器组成。AI算法部署于云AI分析引擎，依托硬件NPU+GPU算力单元实现对视频流/图片流AI分析。算法层包括：未戴口罩、未戴帽子、未穿防护服、货柜号、老鼠识别等。并且云端AI管理平台包括云管理、云算法可支持云算法自我学习，平台实现AI策略管理、AI报警查询、视频回放、系统管理、以及流媒体分布式部署，实现云端管理。

5. 前端概述

前端指冷库集中仓端/餐饮企业，本部分介绍相关系统要求设计。

【前端组成】

【布点要求】摄像机要求200W像素以上，角度要求上下角度在15度以内，左右角度在30度以内（眉尖可见），图像质量要求聚焦清晰，光照均匀，特别注意避免逆光、侧光，必要时进行补光。

【录像存储】选用200W高清网络摄像机按照2M码流计算，存储可选配。

4路30天录像存储大小=2M）÷8×3600（秒）×24（小时）×3×30/1024/1024≈3TB

8路30天录像存储大小=3.6（M）÷8×3600（秒）×24（小时）×7×30/1024/1024≈6TB

6. 算法设计

【算法概述】

 

（1） 业务需求分析

在正式启动训练模型之前，需要有效分析和拆解的业务需求，明确模型类型如何选择。

监控人员在岗是否按规定穿戴口罩、帽子、防护服——通过目标检测模型和分类模型进行判断。戴口罩和帽子是两个属性，若采用单属性进行二分类会增加计算的负担（需要两个分类模型分开运算），这里采用多属性的分类模型。

监控是否鼠患严重——由于老鼠目标太小，深度学习策略可能会失效，即使成功也会消耗大量的计算资源，这里采用传统的检测目标策略加上分类模型进一步筛选判断。

（2） 采集/收集数据

在通过第一步分析的基本模型类型，需要进行相应的数据收集工作，如采集工作人员人脸数据注册，用于上岗情况分析。数据的主要原则为尽可能采集真实场景一致的数据，并覆盖可能有的各种情况，如戴帽子和戴口罩的判断要包含五种情况：A.戴了帽子和口罩、B.戴了帽子没戴口罩、C.没戴帽子戴了口罩、D.没戴帽子没戴口罩和E.无法判断。

（3） 标注数据

刚开始采集少量数据（图片或者视频流）后，通过人工使用标注工具对已有的数据进行标注。如检测是否有老鼠的分类模型，需要将监控视频抽帧后的图片按照A.有和B.没有两类进行整理。如穿戴检测，直接用目标检测算法检测穿戴情况可靠性低，容易出现定位不准且分类准确性差。考虑到实际应用场景实时性要求不高，对准确性要求高，采用折中的办法：先以人形作为检测目标，进行打标，然后分析单人的情况 （目前有单人口罩和帽子的穿戴分析），准确率得到提高，代价是牺牲了一点检测速度。训练的模型在现场部署后可采取更多的标注后的数据，再经过人工的精筛选数据，又可用于下一轮的模型训练。

（4） 训练模型

训练模型阶段可以将已有标注好的数据基于在业务分析阶段确定的初步模型类型，在云端选择算法进行训练。

（5） 评估模型效果

训练后的模型在正式集成之前，需要评估模型效果是否可用。以穿戴和老鼠检测为例。

穿戴检测模型评估项有：A.识别人员数量百分比；B.帽子正确识别百分比；C.口罩正确识别百分比；D.整体平均识别正确率。

老鼠检测模型评估项有：A.老鼠正确识别的百分比。

（6） 云端算法模型维护

【算法机制】

【算法模型】

7. 系统功能

【综合视图】

系统可在地图上展示集中仓/餐饮企业实时监控视频，AI违规报警top排行、违规类型分布、摄像机接入量、在线率统计分析。

综合视图支持在线点播监控点位指标视频，以及调阅相关AI违规数据等

【首页视图 】

首页视图支持分屏查看如：单屏、四分屏、九分屏、16分屏、36分屏、全屏。支持手动拖动通道到预览图，AI智能检测区（未未戴口罩、未戴帽子、未穿防护服、货柜号、老鼠识别），可实时对违规事件进行展示。一次性展示20条数据，按时间倒序排序

【接入管理】

系统接入管理用于管理所有的接入设备。可查看每个设备的通道在线情况，更新通道，选择机构

【视频接入】

通过边缘计算盒web管理界面接入视频，可通过RTSP、Onvif等协议接入视频监控摄像，同时可支持通过Excel表格导入rtsp流地址便于IPC、NVR视频流接入

通道维护/AI短视频/区域分析/录像回放/事件查询/策略管理/基础信息/系统管理/算法云管理

【企业介绍】

微视图灵 以人工智能、物联传感技术为核心，利用自主知识产权的深度学习架构、机器视觉、深耕行为分析算法技术研发，结合人脸识别、人体识别、物体识别等人工智能算法、致力于为用户提供全球领先的人工智能产品和行业解决方案。

核心技术团队来自中科院、清华大学、电子科技大学、华南理工大学等知名学府。专注于计算机视觉和深度学习，布局城市安防，打通AI在智慧司法、智慧校园、智慧养老、智慧交通、智慧医院、智慧社区等几大垂直场景的应用。