明(míng)景視(shì)頻(pín)结构化分析系统

• 2018/01/16

一(yī)、視(shì)頻(pín)结构化的定义

原始的視(shì)頻(pín)实际上(shàng)是一(yī)种非结构化的數(shù)据，其中的目标只能(néng)直观的观看(kàn)，不能(néng)直接被计算机读取和(hé)识别。視(shì)頻(pín)结构化就是将視(shì)頻(pín)這(zhè)种非结构化的數(shù)据中的目标贴上(shàng)相对应的标签，变為(wèi)可(kě)通(tōng)过某种条件进行(xíng)搜索的结构化數(shù)据。視(shì)頻(pín)结构化的叫法有很(hěn)多，如(rú)視(shì)頻(pín)目标属性解析、车辆结构化、行(xíng)人(rén)结构化、 骑行(xíng)结构化、人(rén)脸结构化、視(shì)頻(pín)矢量分析、視(shì)頻(pín)智能(néng)分析、視(shì)頻(pín)內(nèi)容检索分析、視(shì)頻(pín)內(nèi)容语义分析、視(shì)頻(pín)机器学习应用等。

二、視(shì)頻(pín)结构化的发展

視(shì)頻(pín)智能(néng)处理经过了(le)三个阶段，第一(yī)阶段是单兵(bīng)设备，第二阶段是視(shì)頻(pín)分布式处理，第三阶段就是視(shì)頻(pín)结构化。前两阶段的特点是視(shì)頻(pín)分析跟业务是耦合的，這(zhè)在視(shì)頻(pín)量小、业务相对简单時(shí)是适合的，但(dàn)难以满足海(hǎi)量視(shì)頻(pín)分析和(hé)日益复雜(zá)的业务需求。随着視(shì)頻(pín)大數(shù)据時(shí)代的到来，需要(yào)一(yī)种解决方案，将視(shì)頻(pín)智能(néng)分析与业务解耦，一(yī)个专注于海(hǎi)量視(shì)頻(pín)的智能(néng)分析，一(yī)个专注于大數(shù)据的分析处理和(hé)用户的业务需求。

視(shì)頻(pín)结构化发展又分為(wèi)两个阶段：

第一(yī)阶段是目标识别与轨迹提取：

l  采用目标检测、特征提取、对象识别、深度学习等分析手段提取視(shì)頻(pín)图像中的目标对象及运动轨迹。

l  对目标对象进行(xíng)分类為(wèi)人(rén)、车、物(wù)、行(xíng)為(wèi)、事件等不同类别。

将視(shì)頻(pín)进行(xíng)结构化分析,視(shì)頻(pín)会分析如(rú)下(xià)结果：

1）把目标做(zuò)人(rén)、车、物(wù)分类，生成快(kuài)照索引信息：

2）提取活动目标的轨迹信息

有了(le)如(rú)上(shàng)两类结果之后我们就可(kě)以做(zuò)視(shì)頻(pín)的搜索应用了(le)。

1） 人(rén)、车、非机动车等分类搜索。

2） 轨迹搜索：

2.1)通(tōng)过目标运动轨迹进行(xíng)搜索：拌线、运动方向、运动區(qū)域等

2.2) 通(tōng)过主颜色搜索目标

2.3）支持输入图片，通(tōng)过目标外(wài)观进行(xíng)相似度搜索

优点：

1） 多种搜索方式：类型搜索、轨迹搜索、颜色搜索、以图搜图。

2） 颜色矫正：克服不同摄像头的偏色問(wèn)题

缺点：

所有厂商技術(shù)都(dōu)是基于模式识别為(wèi)基础的。

第二阶段是二次结构化：

l  进一(yī)步提取目标的高层特征包括目标颜色特征，分类特征，速度特征等，并把目标的轨迹信息以及高层特征形成高效的索引數(shù)据。

l  行(xíng)人(rén)、人(rén)骑车、机动车结构化。

       二次结构化可(kě)以说是有智的飞跃，在原有目标分类的基础上(shàng)，可(kě)以做(zuò)更多的工(gōng)作(zuò)，支持的属性更多，視(shì)頻(pín)搜过的召回率、准确率得到大大的提升，具体我们看(kàn)一(yī)下(xià)针对行(xíng)人(rén)、人(rén)骑车、机动车的结构化。

       行(xíng)人(rén)结构化：

人(rén)骑车结构化：

汽车结构化：

优点：

1）  算法全面基于深度学习，搜索性能(néng)显著提升。

2）  可(kě)搜索的矢量特征值更多，從(cóng)而提高召回率、准确率。

缺点：

數(shù)据量的問(wèn)题，模型训练样本的數(shù)量。

三、視(shì)頻(pín)结构化視(shì)頻(pín)源的要(yào)求

       3.1、天网、智慧城市、雪亮工(gōng)程、3111工(gōng)程等架设的摄像头都(dōu)没有問(wèn)题，如(rú)自(zì)已架设摄像头宜距地(dì)面3.5-5m，最大俯視(shì)角度不超过15度。

3.1、结构化視(shì)頻(pín)目标像素要(yào)求：

四、北京明(míng)景視(shì)頻(pín)结构化服务器

北京明(míng)景科技有限公司成立于2013年(nián)，注册资金(jīn)2000万元，总部位于北京中关村(cūn)腹地(dì)，是國(guó)家高新技術(shù)企业、中关村(cūn)高新技術(shù)企业。

核心团队在視(shì)頻(pín)智能(néng)分析、視(shì)頻(pín)搜索、大數(shù)据处理领域具有10年(nián)研发经验积累，具有自(zì)主知识产权，有公安部检测报告，20多项专利和(hé)软件著作(zuò)权。

核心团队成員(yuán)均具备该领域的硕士或博士学历，来自(zì)于清华大学、北京大学、东南大学和(hé)中科院等科研院所，具有深厚的技術(shù)底蕴，与中科院、清华大学、北京大学等院校也保持長(cháng)期良好合作(zuò)以及与公安部第一(yī)研究所（一(yī)所）長(cháng)期技術(shù)合作(zuò)。

核心团队共事近10年(nián)，長(cháng)期执着于視(shì)頻(pín)领域的技術(shù)创新和(hé)商业推广，以“创新务实、厚积薄发”為(wèi)核心价值观，坚信視(shì)頻(pín)大數(shù)据智能(néng)科技将在安防、人(rén)工(gōng)智能(néng)、无人(rén)机、机器人(rén)等领域发挥推动社会进步的作(zuò)用。

明(míng)景科技专门做(zuò)視(shì)頻(pín)图像处理的，涉及的产品有两个系列：

視(shì)頻(pín)侦查系列产品：視(shì)頻(pín)智能(néng)摘要(yào)检索系统、視(shì)頻(pín)图像增强处理系统、視(shì)頻(pín)快(kuài)速采集下(xià)载系统、視(shì)頻(pín)勘察箱、視(shì)頻(pín)结构化服务器。

车辆大數(shù)据系列产品：车辆大數(shù)据分析检索系统、车辆大數(shù)据结构化分析系统、未系安全带检测系统。

       在視(shì)頻(pín)图像增强处理這(zhè)块，举几个简单的例子：

夜晚增强

去雾

低(dī)照度增强

去运动模糊

言归正传，分结构化能(néng)力、应用实例、部署方式、产品形态四个方面讲一(yī)下(xià)他(tā)们的结构化产品：

其一(yī)、结构化能(néng)力

       行(xíng)人(rén)结构化：

1)    上(shàng)身衣着类型（马甲吊带背心、衬衫、西(xī)服、毛衣、皮衣夹克、羽绒服、大衣風(fēng)衣、外(wài)套、连衣裙、无上(shàng)衣等）

2)    上(shàng)身衣着颜色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等）

3)    下(xià)身衣着类型（長(cháng)裤、短裤、長(cháng)裙、短裙、连衣裙等）

4)    下(xià)身衣着颜色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等）

5)    鞋子类型（光(guāng)脚、皮鞋、运动鞋、靴子、凉鞋等）

6)    鞋子颜色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等）

7)    携带包类型（单肩包、双肩包、拉杆箱、錢(qián)包等）

8)    携带包颜色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等）

9)    发型特征（長(cháng)发、短发、光(guāng)头、帽子等）

10) 头部颜色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等）

11) 衣服纹理（纯色、碎花、条纹、格子等）

12) 性别（男(nán)、女(nǚ)等）

13) 体态（胖、瘦、中）

14) 种族（汉族、维族、黑(hēi)人(rén)、白人(rén)等）

15) 年(nián)龄段（幼儿、儿童、青年(nián)、中年(nián)、老(lǎo)年(nián)等）

16) 携带物(wù)（打伞、抱小孩、拿(ná)手机、眼镜、墨镜、围巾、腰带、无携带物(wù)等）

17) 朝向（正面、背面、侧面）

汽车结构化：

1)    车牌号码

2)    车牌颜色

3)    车身颜色

4)    车型

5)    品牌

6)    子品牌

7)    年(nián)款

8)    特征物(wù)(年(nián)检标、紙(zhǐ)巾盒、遮阳板、挂件、摆件、主驾安全带、副驾安全带、打手机)

9)    运动方向

10) 运动距离

11) 经过時(shí)間(jiān)

12) 经过地(dì)点

13) 目标大小

14) 目标快(kuài)照(原始分辨率)

人(rén)骑车结构化：

1)    上(shàng)身衣着类型（T恤、马甲吊带背心、衬衫、西(xī)服、毛衣、皮衣夹克、羽绒服、大衣風(fēng)衣、外(wài)套、连衣裙、无上(shàng)衣等），

2)    上(shàng)身衣着颜色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等），

3)    下(xià)身衣着类型（長(cháng)裤、短裤、長(cháng)裙、短裙、连衣裙等），

4)    下(xià)身衣着颜色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等），

5)    携带包类型（单肩包、双肩包、无包、錢(qián)包等），

6)    携带包颜色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色等），

7)    发型特征（長(cháng)发、短发、光(guāng)头、帽子、头盔等），

8)    衣服纹理（纯色、碎花、条纹、格子等），

9)    性别（男(nán)、女(nǚ)等），

10) 体态（胖、瘦、中），

11) 种族（汉族、维族、黑(hēi)人(rén)、白人(rén)等），

12) 年(nián)龄段（幼儿、儿童、青年(nián)、中年(nián)、老(lǎo)年(nián)等），

13) 眼部特征（正常眼睛、眼镜、墨镜等），

14) 嘴部特征（正常嘴，戴口罩等）围巾特征（普通(tōng)围巾、包头围巾等），

15) 非机动车颜色（黑(hēi)、白、紅(hóng)、黃(huáng)、藍(lán)、綠(lǜ)、紫、棕、灰、橙、多色、銀(yín)等）

16) 朝向（正面、背面、侧面），

17) 车上(shàng)人(rén)數(shù)（0、1、2、更多），

18) 是否打伞，

19) 是否携带物(wù)品。

其二、应用实例

視(shì)頻(pín)數(shù)据接入：

u  离线視(shì)頻(pín)文件导入

?  支持的厂商：兼容主流厂家的視(shì)頻(pín)文件下(xià)载（如(rú)海(hǎi)康、大华、宇視(shì)、华為(wèi)/华赛、汉邦、天地(dì)伟业、中兴力维、科达、恒忆、英飞拓、东方网力、金(jīn)鹏、浙江立元、 武汉烽火(huǒ)、上(shàng)海(hǎi)皓维、同尊、苏州皓泰、苏州中德宏泰、中维世纪、金(jīn)三立、大立、安联锐視(shì)、索尼、藍(lán)色星际等）

?  支持的視(shì)頻(pín)格式：h264、264、mp4、mpg、asf、avi、flv、wmv、mpeg、3gp、rm、rmvb、hik、dav、dvr、ts、h3crd、h3cv3、sdv、zv、znv、kdm4、ifv、mbf、jwr、avx、nsf、dat、mkv、avd、ps、KSJF、HE4、sv4、sv5、rec、m4v、hav、zmp5、600、692、801、ifv、lvf、vas、hdvr、dav、jav、eye、mov、dh、snv、bsr、msv、dvf等

?  支持原格式导入、转码后导入两种方式

u  实時(shí)視(shì)頻(pín)流接入

?  支持rtsp协議(yì)視(shì)頻(pín)流接入

?  支持IPC、NVR、DVR设备实時(shí)流接入

智能(néng)分析：

智能(néng)搜索：

u  智能(néng)搜索功能(néng)

?  轨迹搜索：感兴趣區(qū)域、拌线、进入驻留、行(xíng)进方向、离開(kāi)區(qū)域、不感兴趣區(qū)域、运动距离

?  時(shí)間(jiān)搜索

?  目标分类搜索：人(rén)、机动车、人(rén)骑车、其他(tā)

?  特征搜索：人(rén)、机动车、人(rén)骑车的属性特征

?  外(wài)观条件搜索：主要(yào)颜色、颜色组合、屏幕取色、目标大小

?  以图搜索

u  智能(néng)结果显示功能(néng)

?  排序方式：按時(shí)間(jiān)、相似度排序

?  显示类型：仅显示目标、目标和(hé)轨迹

智能(néng)播放器：

u  智能(néng)播放器功能(néng)

?  播放、暂停、倒放、前一(yī)帧、后一(yī)帧、快(kuài)进、慢(màn)放、片断循环播放、書(shū)签、片断截取、物(wù)标、校時(shí)、变速播放、跳(tiào)跃播放

?  快(kuài)照与原始視(shì)頻(pín)关联跳(tiào)转

电子地(dì)图：

u  电子地(dì)图功能(néng)

?  添加摄像头、点标记、路线、案发地(dì)点、消失地(dì)点、计算移动區(qū)域、计算终点時(shí)間(jiān)、计算移动速度、上(shàng)下(xià)车地(dì)点等。

多任务并行(xíng)处理：

?  结构化设备管理

?  结构化任务管理

?  CPU占用率、內(nèi)存占用率、磁盘空間(jiān)等的监控

其三、部署方式

实時(shí)視(shì)頻(pín)流结构化分析，系统基于结构化分析结果进行(xíng)告警、检索和(hé)挖掘

离线視(shì)頻(pín)文件上(shàng)传结构化分析，系统基于分析结果进行(xíng)大數(shù)据分析、检索

其四、产品形态

主要(yào)有两种，一(yī)种是成套产品，包括单机版和(hé)服务器版。另外(wài)一(yī)种是对外(wài)提供SDK的方式，值得一(yī)提的是sdk的接口特别全，集成起来比较简单。