視(shì)頻(pín)摘要(yào)、視(shì)頻(pín)检索和(hé)人(rén)脸识别

• 2020/10/19

成千上(shàng)万的监控摄像头昼夜不停地(dì)录像，制造出海(hǎi)量的視(shì)頻(pín)文件。從(cóng)如(rú)此巨大的視(shì)頻(pín)文件集中发现重要(yào)事件是非常困难的，即使是一(yī)段已知有事件发生的視(shì)頻(pín)录像。

如(rú)今有三种方法解决這(zhè)一(yī)問(wèn)题：

1.生成一(yī)个简短的視(shì)頻(pín)概要(yào)，例如(rú)将单个摄像头摄制24小時(shí)的視(shì)頻(pín)压缩成几分鐘(zhōng)，同時(shí)保留活动细节，以方便用户快(kuài)速浏览。明(míng)景科技已经開(kāi)发出一(yī)个基于目标跟踪技術(shù)的視(shì)頻(pín)摘要(yào)系统。

“視(shì)頻(pín)摘要(yào)”是指從(cóng)原始視(shì)頻(pín)中提取感兴趣的目标的活动信息，和(hé)背景視(shì)頻(pín)缝合剪辑而成的较短視(shì)頻(pín)片断，可(kě)以用短小精悍，信息全面来描述它。視(shì)頻(pín)摘要(yào)可(kě)以采用原始視(shì)頻(pín)分辨率，也可(kě)以根据存储要(yào)求降低(dī)分辨率。

2.通(tōng)过摄像头网络或視(shì)頻(pín)文件集进行(xíng)嫌疑目标或事件的跟踪查询。

3.人(rén)脸识别技術(shù)，进行(xíng)重要(yào)场所視(shì)頻(pín)监控目标筛查。

視(shì)頻(pín)摘要(yào)

如(rú)今，越来越多的监控摄像头安装在我们身边。随着电脑速度的提升，磁盘容量的增大和(hé)因特网的广泛使用，這(zhè)些设备每天生成了(le)成千上(shàng)万的數(shù)据。因此，從(cóng)這(zhè)些海(hǎi)量的數(shù)据中找到重要(yào)事件就变得异常困难。所以，找出一(yī)种方法去压缩視(shì)頻(pín)，甚至自(zì)动地(dì)搜索整个文件集就尤為(wèi)紧迫。

由于視(shì)頻(pín)浏览和(hé)检索很(hěn)耗時(shí)，大多數(shù)取得的視(shì)頻(pín)并不会被观看(kàn)和(hé)检查，視(shì)頻(pín)摘要(yào)就成了(le)一(yī)种浏览检索視(shì)頻(pín)的有效工(gōng)具。它将生成一(yī)个简短的視(shì)頻(pín)，其中包含了(le)原視(shì)頻(pín)中所有重要(yào)的活动。視(shì)頻(pín)通(tōng)过同時(shí)播放多个事件，哪怕是在原視(shì)頻(pín)中不同時(shí)間(jiān)发生的，将整个視(shì)頻(pín)被压缩成一(yī)个简短的事件摘要(yào)。這(zhè)个摘要(yào)同時(shí)也是原視(shì)頻(pín)文件的一(yī)个索引，可(kě)以找到每一(yī)个事件发生的真实時(shí)間(jiān)。這(zhè)一(yī)技術(shù)主要(yào)通(tōng)过对視(shì)頻(pín)重排序来摘要(yào)和(hé)检索，对监控摄像头和(hé)网络摄像机是很(hěn)有益处的。

上(shàng)述視(shì)頻(pín)摘要(yào)技術(shù)可(kě)以用于单个摄像头拍摄的視(shì)頻(pín)。对于跨摄像机网络，由于存在每一(yī)个摄像机視(shì)角的不同，光(guāng)线变化，目标姿态的变化以及可(kě)能(néng)存在遮挡的情况，对于跨摄像机視(shì)頻(pín)对象的跟踪，查找甚至重新确认定位，具有很(hěn)大的挑战。

1.視(shì)頻(pín)浓缩供快(kuài)速检索：透过智能(néng)視(shì)頻(pín)分析，实现将某个摄像机一(yī)天的录像压缩到1小時(shí)甚至數(shù)分鐘(zhōng)以內(nèi)，同時(shí)保留人(rén)/车辆或感兴趣目标的活动细节。在視(shì)頻(pín)摘要(yào)中，对于人(rén)或车辆目标，显示目标出现的時(shí)間(jiān)，并且支持用户通(tōng)过点击目标，播放目标出现前后的原始視(shì)頻(pín)。

2.节省存储硬盘空間(jiān)，數(shù)字摄像机产生的压缩視(shì)頻(pín)按100:10:1的比例存储：為(wèi)了(le)节省海(hǎi)量視(shì)頻(pín)的存储空間(jiān)，同時(shí)适度保存历史录像，对于高清摄像机产生的視(shì)頻(pín)文件，按照100:10:1的大致比例进行(xíng)浓缩存储，即基本時(shí)間(jiān)長(cháng)度范围內(nèi)（如(rú)最近一(yī)个月）的視(shì)頻(pín)，按原始分辨率保存原始压缩視(shì)頻(pín)（100），超过基本時(shí)間(jiān)長(cháng)度（如(rú)一(yī)个月到3个月）的視(shì)頻(pín)，只保存浓缩的摘要(yào)視(shì)頻(pín)（10），超过最大時(shí)間(jiān)長(cháng)度（如(rú)三个月以前）的視(shì)頻(pín)，可(kě)以考虑保存转码压缩的摘要(yào)視(shì)頻(pín)（1）。基本時(shí)間(jiān)長(cháng)度和(hé)最大時(shí)間(jiān)長(cháng)度可(kě)以由用户指定。這(zhè)是一(yī)种全新的智能(néng)转码技術(shù)，可(kě)以广泛用于3G媒体网关，给用户提供短小精炼的监控視(shì)頻(pín)摘要(yào)，既节省带宽，又不会对移动终端的处理能(néng)力有过高的要(yào)求。

3.优化高清IP摄像机的动态码流设计。利用背景分析和(hé)前景提取技術(shù)，可(kě)以在摄像机侧实现分辨率和(hé)码率动态调整，对于没有前景活动的帧，可(kě)以采用比较小的分辨率，比较低(dī)的码率，從(cóng)而节省传输带宽。

明(míng)景視(shì)頻(pín)摘要(yào)系统

視(shì)頻(pín)检索

在对視(shì)頻(pín)摘要(yào)进行(xíng)快(kuài)速浏览以后，用户就可(kě)以找到一(yī)些有用的线索。如(rú)果在視(shì)頻(pín)中发现了(le)一(yī)些感兴趣的东西(xī)，我们还可(kě)以在更多的視(shì)頻(pín)文件中搜索和(hé)检查。

因此，我们需要(yào)一(yī)个視(shì)頻(pín)检索的系统去做(zuò)這(zhè)项工(gōng)作(zuò)。首先，它会使用一(yī)种有效的运动分割方法提取出运动的物(wù)体。而后，這(zhè)些运动物(wù)体的基本特征就会被提取出来，并且编入數(shù)据库。在整个的检索过程中，系统会将請(qǐng)求比对數(shù)据库中已经索引好的特征，而不用重新处理視(shì)頻(pín)。最后，拥有足够高相关度的視(shì)頻(pín)片断将被作(zuò)為(wèi)结果显示出来。大致可(kě)分為(wèi)以下(xià)两个部分：

1、一(yī)个通(tōng)过快(kuài)速运动目标分割所实现的实時(shí)自(zì)动检索方法，這(zhè)样系统就可(kě)以实時(shí)对視(shì)頻(pín)源进行(xíng)排序；

2、一(yī)个基于目标的检索系统，包含基础特征比对的方法。這(zhè)样就可(kě)以使得用户通(tōng)过提供一(yī)幅样照或素描图指定請(qǐng)求。

通(tōng)过這(zhè)种技術(shù)，以下(xià)的請(qǐng)求模式就可(kě)以实现：

1、事例查询

具体来说，是一(yī)些分割出来的图片（例如(rú)，視(shì)頻(pín)中的一(yī)个人(rén)/一(yī)辆车）。

2、基本属性查询

对于一(yī)个人(rén)，我们可(kě)以查询身高，衣服的颜色（如(rú)果够解析度，甚者可(kě)以區(qū)分上(shàng)下(xià)衣的颜色），头发颜色，发型，是否戴帽子或是眼镜。

对于车辆，我们可(kě)以查询大小、商标、主色、车型（例如(rú)，汽车、吉普车、出租车）。

对于运动路径，我们可(kě)以通(tōng)过速度，运动方向，位置，进出時(shí)間(jiān)或者行(xíng)走方式来查询。

基于內(nèi)容的視(shì)頻(pín)检索功能(néng)使用了(le)下(xià)列技術(shù)：

a)移动物(wù)体的特征提取，例如(rú)目标的颜色，大小，速度，位置和(hé)轨迹；

b)事件监测后产生的事件描述作(zuò)為(wèi)检索输入；

c)從(cóng)視(shì)頻(pín)摘要(yào)获得的线索作(zuò)為(wèi)输入；

d)人(rén)车目标分类；

e)准确的背景和(hé)前景切割，以提供清晰的边缘和(hé)背景；

f)利用用户的经验和(hé)直觉提高检索准确率；

g)提取所有有用信息存入數(shù)据库，而不是視(shì)頻(pín)文件本身，這(zhè)样可(kě)以节省很(hěn)多空間(jiān)，同時(shí)也节约人(rén)力成本。

明(míng)景視(shì)頻(pín)检索系统

人(rén)脸识别

人(rén)脸识别有两种典型的监控应用情况，固定摄像机采集的监控視(shì)頻(pín)中提取人(rén)脸和(hé)移动监控设备拍摄人(rén)脸。通(tōng)常来说，固定安装的摄像机可(kě)以拍摄視(shì)頻(pín)，從(cóng)中提取人(rén)脸，移动设备用户可(kě)以在现场通(tōng)过摄像头捕获目标的相片。移动设备能(néng)储存少(shǎo)數(shù)目标人(rén)員(yuán)的相片，移动设备比较获得的相片和(hé)储存的相片以识别重要(yào)嫌疑犯。

固定安装IP摄像机获取的截图或照片通(tōng)常只有较低(dī)的质量，并且由于拍摄场景的不确定，其中的光(guāng)照以及人(rén)物(wù)的姿势也是不确定的。与此相反，移动终端设备可(kě)以应用到不同的情境中，照片可(kě)以在一(yī)个可(kě)控的环境中取得。上(shàng)述获取的截图或照片可(kě)回传给服务器端，与數(shù)据库中大量的相片进行(xíng)比对。

照片比对的第一(yī)步是提取有效的脸部特征。选择什么样的特征作(zuò)比对是关键，由于人(rén)員(yuán)姿态表情的变化，拍摄环境光(guāng)照条件以及帽子墨镜遮挡等的影响，选择有效的特征是一(yī)件挑战性的工(gōng)作(zuò)。為(wèi)了(le)解决這(zhè)些难题，可(kě)以使用一(yī)个基于学习的编码方法，用以提取脸部特征，從(cóng)而进行(xíng)识别。這(zhè)一(yī)方法使用了(le)自(zì)主学习的方法对脸的局部微(wēi)结构进行(xíng)编码。這(zhè)样学得的码流比现有的手工(gōng)编码的方法具有更好的识别能(néng)力和(hé)稳定性。同時(shí)，压缩效果也非常好。

明(míng)景人(rén)脸识别系统