視(shì)頻(pín)图像结构化的研究

• 2020/04/13

視(shì)頻(pín)结构化是指根据視(shì)頻(pín)畫(huà)面中呈现出的人(rén)、车、物(wù)、颜色、數(shù)字及其他(tā)属性特征，建立視(shì)頻(pín)大數(shù)据结构化平台。視(shì)頻(pín)被结构化后，存入相应的结构化數(shù)据仓库，存储的容量极大降低(dī)。

结构化系统可(kě)以從(cóng)海(hǎi)量资料库中查找到某张截图上(shàng)的嫌疑目标，有助于进行(xíng)社会治安监控的風(fēng)险评估和(hé)事件预警，并可(kě)通(tōng)过不同位置采集的监控资料，研判目标的行(xíng)為(wèi)过程。

作(zuò)為(wèi)安防大數(shù)据最為(wèi)重要(yào)的數(shù)据来源，視(shì)頻(pín)图像实际上(shàng)是一(yī)种非结构化的數(shù)据，它不能(néng)直接被计算机读取和(hé)识别，而在电商、舆情分析等目前大數(shù)据取得较好应用效果的领域，它们所产生的都(dōu)是结构化的數(shù)据，能(néng)够直接利用计算机来进行(xíng)數(shù)据的分析和(hé)挖掘。因此，視(shì)頻(pín)图像能(néng)否通(tōng)过智能(néng)分析技術(shù)经济而又高效地(dì)进行(xíng)结构化处理，是視(shì)頻(pín)大數(shù)据在安防领域落地(dì)的关键。

視(shì)頻(pín)结构化，即視(shì)頻(pín)數(shù)据的结构化处理，就是通(tōng)过原始視(shì)頻(pín)进行(xíng)智能(néng)分析，提取出关键信息，并进行(xíng)文本的语义描述。一(yī)段視(shì)頻(pín)里，需要(yào)提取的关键信息有哪些？目前来看(kàn)，主要(yào)有三类：第一(yī)类是运动目标的识别，也就是畫(huà)面中运动对象的识别，是人(rén)还是车；第二类是运动目标特征的识别，也就是畫(huà)面中运动的人(rén)、车、物(wù)有什么特征，如(rú)果是人(rén)，是男(nán)人(rén)还是女(nǚ)人(rén)，有没有戴眼镜，穿什么颜色的衣服，如(rú)果是车，车牌号号码是多少(shǎo)，什么颜色什么车型等等；第三类是运动目标的轨迹分析，也就是畫(huà)面中人(rén)或车是左转了(le)还是右转了(le)或是徘徊了(le)等等。

所谓視(shì)頻(pín)數(shù)据的结构化处理，就是通(tōng)过对原始視(shì)頻(pín)进行(xíng)智能(néng)分析，提取出关键信息，并进行(xíng)文本的语义描述。一(yī)段視(shì)頻(pín)里面，需要(yào)提取的关键信息有哪些？目前来看(kàn)，主要(yào)是有三类：第一(yī)类是运动目标的识别，也就是畫(huà)面中运动对象的识别，是人(rén)还是车；第二类是运动目标特征的识别，也就是畫(huà)面中运动的人(rén)、车、物(wù)有什么特征，如(rú)果是人(rén)，是男(nán)人(rén)还是女(nǚ)人(rén)，有没有戴眼镜，穿什么颜色的衣服，如(rú)果是车，车牌号码多少(shǎo)，什么颜色什么车型等等；第三类是运动目标的轨迹分析，也就是畫(huà)面中人(rén)或车是左转了(le)还是右转了(le)或是徘徊了(le)等等。

事实上(shàng)，智能(néng)分析很(hěn)早就開(kāi)始应用于安防领域，不过受限于算法的成熟度和(hé)硬件性能(néng)，早期的智能(néng)分析更多的是依靠后端的智能(néng)服务器来实现，直到各类智能(néng)分析算法日渐成熟，同時(shí)前端硬件性能(néng)得到大幅提升，前端智能(néng)的趋势才越来越明(míng)显，各类智能(néng)摄像机也纷纷涌现。視(shì)頻(pín)图像的结构化处理是依赖于智能(néng)分析算法，因此，視(shì)頻(pín)图像结构化的处理方式也有两种，一(yī)种是通(tōng)过具有感知能(néng)力的智能(néng)摄像机提取结构化數(shù)据，再将數(shù)据传送到后端进行(xíng)存储或是開(kāi)展深入分析，另一(yī)种是前端摄像机只采集原始視(shì)頻(pín)，由后端的智能(néng)服务器来对原始視(shì)頻(pín)进行(xíng)智能(néng)分析，形成结构化數(shù)据。

從(cóng)实际表现来看(kàn)，上(shàng)述两种结构化处理方式都(dōu)有自(zì)己的优势，但(dàn)同時(shí)也各有劣势。比如(rú)前端智能(néng)摄像机进行(xíng)结构化处理具有实時(shí)性的优势，能(néng)够减轻后端计算的压力，但(dàn)是摄像机的硬件性能(néng)有限，无法实现复雜(zá)算法的运行(xíng)；后端的计算能(néng)力强大，能(néng)够加载更多复雜(zá)算法，但(dàn)是后端智能(néng)无法做(zuò)到实時(shí)结构化，而且所有智能(néng)分析全部在后端实现，对后端计算资源的要(yào)求也会非常高。

随着芯片技術(shù)的不断优化，前端处理能(néng)力不断强大，将后端处理的压力逐步向前端转移是一(yī)个不可(kě)逆转的趋势。不过，要(yào)实现大數(shù)据应用，仅有前端智能(néng)还不够，还需要(yào)在后端按照规则对數(shù)据进行(xíng)清洗、装载后进入數(shù)据仓库，然后才能(néng)够谈到上(shàng)层的相关应用或是展现。因此，前端智能(néng)会用来实现一(yī)些相对基础的图像智能(néng)分析工(gōng)作(zuò)，更深层次的數(shù)据分析、应用还是要(yào)依靠后端平台。

前端智能(néng)分析的优势在于每一(yī)路前端摄像机都(dōu)可(kě)以做(zuò)智能(néng)的实時(shí)分析，消灭延時(shí)，减轻后端的计算压力，可(kě)以做(zuò)到无遗漏的智能(néng)分析，同時(shí)，解放后端的计算资源；后端服务器的智能(néng)化则主要(yào)集中优势计算资源做(zuò)更深入的二次分析。通(tōng)过两种方式的配合，实现視(shì)頻(pín)數(shù)据的结构化处理，并開(kāi)展大數(shù)据应用。

智能(néng)分析如(rú)果全部在后端实现，计算资源、存储资源和(hé)网络资源的消耗都(dōu)会相当大。如(rú)果都(dōu)在前端实现，则因前端产品的差异性以及前端设备性能(néng)限制，不同厂家设备处理的结果可(kě)利用程度不一(yī)样，能(néng)处理的程度也有限，难以最终满足应用要(yào)求。因此，应该采用前端设备进行(xíng)结构化的预处理工(gōng)作(zuò)，后端针对重要(yào)地(dì)点數(shù)据进行(xíng)处理和(hé)对案事件关联數(shù)据进行(xíng)精细化二次处理。

長(cháng)远来看(kàn)，随着視(shì)图云中心的发展，应该会逐渐弱化前端的智能(néng)分析功能(néng)，仅仅保留部分最基础的轻量型智能(néng)分析功能(néng)，如(rú)车牌识别，但(dàn)是车型二次分析等有较大运算需求和(hé)定期算法升级更新需求的结构化计算会在后端处理，涉及大量的事后分析的计算也会放在后端云中心。

在小數(shù)据時(shí)代，前端智能(néng)和(hé)后端智能(néng)是可(kě)以相互替代或是两者结合的，但(dàn)到了(le)大數(shù)据時(shí)代，因為(wèi)數(shù)据量非常大，且是多点多域多元的，两种智能(néng)分析模式一(yī)定是相互结合，将一(yī)部分预处理工(gōng)作(zuò)放在前端，后端的大數(shù)据中心实现更為(wèi)复雜(zá)的數(shù)据处理。

对于到底是在前端还是在后端实现視(shì)頻(pín)图像结构化的問(wèn)题，前端摄像机的处理能(néng)力有限，加载一(yī)些简单的算法問(wèn)题不大，如(rú)车牌识别和(hé)一(yī)些行(xíng)為(wèi)分析，但(dàn)是要(yào)识别更為(wèi)复雜(zá)的信息就有难度了(le)，比如(rú)越界，是一(yī)个行(xíng)為(wèi)，要(yào)识别這(zhè)个行(xíng)為(wèi)很(hěn)简单，但(dàn)是要(yào)分析越界的這(zhè)个人(rén)的特征，什么发型，有没有戴眼镜等就有难度了(le)，前端摄像机很(hěn)难做(zuò)到。后端平台的处理能(néng)力能(néng)够无限扩展，可(kě)以做(zuò)大量复雜(zá)场景下(xià)的分析，而且能(néng)够灵活部署调配，哪里需要(yào)做(zuò)智能(néng)分析就往哪部署，但(dàn)是后端需要(yào)大量的投资，而且无法做(zuò)到实時(shí)，因此一(yī)般都(dōu)是用于事后分析。目前采用后端平台进行(xíng)结构化处理的居多，因為(wèi)大部分摄像机还是非智能(néng)的，要(yào)利用大數(shù)据进行(xíng)研判、布控，利用后端强大的计算能(néng)力来做(zuò)智能(néng)分析会更现实。

視(shì)頻(pín)數(shù)据的结构化处理是制约安防大數(shù)据落地(dì)的关键，尽管不少(shǎo)业內(nèi)企业都(dōu)在這(zhè)方面下(xià)了(le)很(hěn)大功夫，但(dàn)目前绝大多數(shù)企业都(dōu)只是实现了(le)視(shì)頻(pín)數(shù)据的半结构化处理，还无法直接完成視(shì)頻(pín)图像的完全结构化。究其原因，一(yī)方面是要(yào)做(zuò)到全实時(shí)的结构化对硬件资源和(hé)处理资源的要(yào)求非常高，另一(yī)方面是視(shì)頻(pín)图像处理的人(rén)工(gōng)智能(néng)技術(shù)目前也还达不到文本的智能(néng)的高度，算法还有待进一(yī)步完善。

智能(néng)分析技術(shù)仅仅是实现了(le)对視(shì)頻(pín)图像、图片等非结构化數(shù)据的语义描述，使之成為(wèi)结构化（或半结构化）的數(shù)据，但(dàn)要(yào)实现大數(shù)据应用，仅仅做(zuò)到這(zhè)一(yī)步还不够，还需要(yào)借助于云计算和(hé)云存储，為(wèi)大數(shù)据提供强大的计算和(hé)存储资源，再深度结合各行(xíng)业的实际业务应用，如(rú)此，大數(shù)据才能(néng)带来真正的价值。

視(shì)頻(pín)结构化技術(shù)存在的不足点：

1. 視(shì)頻(pín)结构化会检测視(shì)頻(pín)中整个畫(huà)面內(nèi)容，无法有效的针对同一(yī)目标特征值进行(xíng)提取。

2. 視(shì)頻(pín)结构化特征识别的颗粒度较大，识别准度较差。

3. 視(shì)頻(pín)结构化在比对時(shí)，会把所有的特征值进行(xíng)比对。

因此，在针对視(shì)頻(pín)中的行(xíng)人(rén)进行(xíng)识别检测時(shí)可(kě)以考虑使用行(xíng)人(rén)再识别（Re-ID）技術(shù)，进行(xíng)对行(xíng)人(rén)的精准重识别。