车辆大數(shù)据在智能(néng)交通(tōng)中的重要(yào)作(zuò)用-明(míng)景车辆大數(shù)据分析检索系统

• 2016/09/27

随着我國(guó)城镇化和(hé)公路网络的快(kuài)速发展，地(dì)區(qū)车辆的汇集使得车辆在繁忙路段和(hé)特殊時(shí)期变得拥堵不堪，交通(tōng)出行(xíng)成為(wèi)日渐突出的問(wèn)题。虽然各地(dì)都(dōu)针对目前遇到的难题開(kāi)始着手建设智能(néng)交通(tōng)综合管控平台，但(dàn)由于缺乏高效的平台系统，很(hěn)多地(dì)方在海(hǎi)量數(shù)据的采集、处理和(hé)分析应用方面，在结合視(shì)頻(pín)监控、交通(tōng)信号控制系统、诱导系统、交通(tōng)流量检测系统等方面的综合应用还有待提高。

      传统架构的瓶颈

　　通(tōng)过各路前端设备24小時(shí)不間(jiān)断的抓取，属于安防性质的海(hǎi)量數(shù)据出现了(le)激增。以保定市為(wèi)例，每天由卡口、电子警察等车牌识别设备所产生的數(shù)据量约1200万余条，一(yī)年(nián)达到45亿条的數(shù)据规模。除此之外(wài)，还有车辆抓拍的图片數(shù)据、违法记录、事故处理等产生的业务數(shù)据和(hé)实時(shí)流量信息，以及路网管理与交通(tōng)事件信息等多种类型的數(shù)据。這(zhè)些海(hǎi)量數(shù)据的产生，使得很(hěn)多传统的系统架构面临着一(yī)个海(hǎi)量數(shù)据采集、存储、计算、应用的难题，并且通(tōng)过越来越多的突发交通(tōng)時(shí)間(jiān)可(kě)以分析发现，視(shì)頻(pín)监控的作(zuò)用仍然停留在被动服务于“事后研判”的模式，整个监控和(hé)控制系统并未做(zuò)到主动干预，更无從(cóng)谈起防患于未然。

　　与此同時(shí)，在面对海(hǎi)量數(shù)据時(shí)，也暴露了(le)传统的系统架构在海(hǎi)量结构化數(shù)据处理上(shàng)的瓶颈，如(rú)系统存储无法弹性扩容;查询速度缓慢(màn)，无法快(kuài)速响应突发事件;应急指挥系统操作(zuò)复雜(zá);各种类型數(shù)据资源分散，无法做(zuò)到整合并进行(xíng)综合分析……這(zhè)些都(dōu)预示着当前的交通(tōng)部门需要(yào)一(yī)个可(kě)以应付智慧交通(tōng)业务需求的全新系统架构。

      大數(shù)据提高城市治安管理水平

　　大數(shù)据的价值在于通(tōng)过对大數(shù)据进行(xíng)高速捕获和(hé)实時(shí)分析，及時(shí)获取核心业务和(hé)战略决策所需的关键信息，提升管理决策水平。
　　依据统计学，任何动态发展的事物(wù)，只要(yào)有足够多的样本數(shù)据，就一(yī)定能(néng)從(cóng)样本數(shù)据中找到动态发展的规律。數(shù)据越多，准确率越高，這(zhè)就是數(shù)据的价值所在。对于商业应用，可(kě)以通(tōng)过數(shù)据分析用户行(xíng)為(wèi)规律從(cóng)而提高销售量、分析市场规律從(cóng)而定点投放广告降低(dī)成本；对于公安行(xíng)业，可(kě)以通(tōng)过數(shù)据分析區(qū)域性犯罪趋势，提前预防從(cóng)而降低(dī)犯罪率，可(kě)以分析交通(tōng)行(xíng)為(wèi)规律，提前做(zuò)交通(tōng)疏导，提高交通(tōng)通(tōng)畅率。

　　大數(shù)据通(tōng)过对海(hǎi)量數(shù)据的整合和(hé)挖掘，揭示传统技術(shù)方式难以展现的关联关系，还可(kě)以预警風(fēng)险，及時(shí)切断風(fēng)险链。例如(rú)：

　　针对堵车现象，实時(shí)采集车流數(shù)据，自(zì)动控制信号灯，让堵车能(néng)有所缓解。
　　针对城乡结合部“治安盲區(qū)”，采集人(rén)口流动信息，分析出潜在風(fēng)险，警力针对性地(dì)科学调配。
　　针对保险理赔，通(tōng)过社会信息搜集分析系统，上(shàng)海(hǎi)等地(dì)正积极探索商业保险公司参与社会治理，将保险事务由“事后理赔”转為(wèi)“事先風(fēng)险防范”。
　　针对聚集疏导，通(tōng)过关键词搜索技術(shù)、熱(rè)力图技術(shù)、电子巡逻技術(shù)等，探索预测人(rén)群聚集苗头和(hé)动向，人(rén)員(yuán)过密時(shí)及時(shí)提示预警，适時(shí)分流人(rén)群。
　　针对犯罪熱(rè)点，集成公安专业數(shù)据，实時(shí)掌握犯罪轨迹、预判犯罪熱(rè)点，提高防范打击犯罪的水平。
　　针对安全生产，工(gōng)程建设特别容易出事，建立工(gōng)程建设监管和(hé)信用平台，以大數(shù)据為(wèi)依托，“全程留痕”，让监管“无死角”。

      车辆大數(shù)据面临的問(wèn)题

　　大數(shù)据的特征是大量性（规模超大、不断攀升）、高速性（高速产生、处理高效）、多样性（种类多样、来源多样）、低(dī)密性（有用數(shù)据提纯）。海(hǎi)量數(shù)据给常规技術(shù)（获取存储管理、处理传递共享、关联聚类分析）带来了(le)众多挑战——虽然數(shù)据很(hěn)多，但(dàn)是有用的數(shù)据只有34%，好用的數(shù)据仅有7%，被分析的數(shù)据更是少(shǎo)到只有1%。如(rú)何在海(hǎi)量的數(shù)据中提取出有价值的信息需要(yào)多学科多技術(shù)的研究。当前的特点是大數(shù)据、小模型、小定律交叉，即使是同一(yī)类問(wèn)题，每个系统也都(dōu)不一(yī)样，所以模型和(hé)程序要(yào)针对數(shù)据设计。结构化數(shù)据通(tōng)过數(shù)据库或者數(shù)据仓库解决，半结构化數(shù)据使用网页和(hé)搜索引擎等技術(shù)解决，非结构化數(shù)据使用深度学习、网络交互和(hé)群体智能(néng)解决。
　　干警在实战使用中，最主要(yào)的操作(zuò)应用是查询车牌信息和(hé)其他(tā)过车记录以便掌握线索。面对动辄几十亿、上(shàng)百亿甚至千亿级别的海(hǎi)量过车數(shù)据的存储和(hé)查询压力，如(rú)何进行(xíng)可(kě)靠存储和(hé)高效应用？传统的普通(tōng)关系型數(shù)据库解决方案和(hé)技術(shù)手段存在检索难、并发难、挖掘难、扩容难、应用难等一(yī)系列問(wèn)题，速度慢(màn)、准确性差，需要(yào)投入大量的精力和(hé)资源进行(xíng)技術(shù)升级改造。因此，及時(shí)准确获取各类相关數(shù)据并构建大數(shù)据处理模型是建设平安城市大數(shù)据中心的前提，而這(zhè)一(yī)难题目前正逐步通(tōng)过先进的大數(shù)据技術(shù)进行(xíng)解决。

  　车辆大數(shù)据的几项关键技術(shù)

　　1、海(hǎi)量數(shù)据检索
　　數(shù)据检索作(zuò)為(wèi)大數(shù)据最基本的应用，分布式內(nèi)存检索引擎通(tōng)过将海(hǎi)量數(shù)据在集群各个节点创建索引，并高速缓存在各节点內(nèi)存，节点之間(jiān)通(tōng)过分布式特有的网络通(tōng)信技術(shù)，用最小的代价将计算和(hé)读取數(shù)据完成汇总。当然，基于智慧城市车辆大數(shù)据中數(shù)据模型的特点，还要(yào)对分布式內(nèi)存检索引擎的机制做(zuò)专门的优化，才能(néng)实现千亿级數(shù)据多条件组合的秒级查询。
　　针对百亿级以上(shàng)數(shù)据，大數(shù)据检索的硬件服务器需要(yào)考虑SSD固态硬盘，核心數(shù)据存储在固态硬盘，可(kě)以提高磁盘的读取速度，在分布式并行(xíng)计算的同時(shí)，进一(yī)步提升了(le)數(shù)据的检索效率，也為(wèi)數(shù)据的稳定性提供了(le)重要(yào)保障。
　　2、大數(shù)据研判分析
　　目前比较先进的方式是流式处理与批量处理相结合，以Hbase數(shù)据仓库為(wèi)數(shù)据源，针对车辆大數(shù)据研判分析，可(kě)以提供多样化的应用功能(néng)，既满足实時(shí)在线的數(shù)据处理需求，又支持海(hǎi)量數(shù)据的线下(xià)分析。例如(rú)，天地(dì)伟业Easy7公安实战平台的信息深度研判系统提供了(le)多点碰撞、區(qū)域徘徊、伴随车辆、昼伏夜出等将近20种技站法以及各种流量统计和(hé)态势分析，都(dōu)是在數(shù)据挖掘中将流式处理技術(shù)、數(shù)学统计算法、遗传算法、神经网络算法、贝叶斯判别、机器学习等算法结合起来，并针对现场用户实际需求研发出来。

      车辆大數(shù)据分析检索系统的应用

       以北京明(míng)景科技有限公司推出的明(míng)景车辆大數(shù)据分析检索系统為(wèi)例，该系统基于視(shì)頻(pín)流、图片流的智能(néng)车辆识别系统，是國(guó)內(nèi)第一(yī)个车辆全信息识别检索系统，利用先进的深度学习技術(shù)，实现对卡口设备采集的车辆图片进行(xíng)全信息识别，通(tōng)过大數(shù)据分析和(hé)挖掘手段，為(wèi)公安交警部门打击嫌疑、假牌、套牌、驾驶人(rén)违章(zhāng)等各类违法行(xíng)為(wèi)提供有力保障，有效弥补了(le)传统平安城市项目中对于智慧交通(tōng)和(hé)车辆治安管控的极大不足，能(néng)够极大提升城市治理和(hé)治安管控的水平，促进智慧公安和(hé)智慧交通(tōng)向更高的科技水平发展。

　　在大數(shù)据技術(shù)支撑下(xià)，该系统為(wèi)用户提供了(le)以下(xià)三点使用价值：

　　海(hǎi)量數(shù)据，综合研判

　　整合容纳结构化基础信息，通(tōng)过大數(shù)据挖掘系统按照既定的规则对情报化信息进行(xíng)分析，寻找內(nèi)在联系，例如(rú)大货车闯禁行(xíng)、交通(tōng)态势分析、套牌车辆分析，跟车关联分析，车辆轨迹碰撞，可(kě)疑人(rén)員(yuán)、可(kě)疑车辆分析等，從(cóng)海(hǎi)量的情报化信息中挖掘隐藏在其中的警情信息，服务于交通(tōng)管控，公安治安应用，做(zuò)到防患于未然。

　　精确检测，疏导交通(tōng)

  　通(tōng)过收集电子警察、智能(néng)卡口、流量检测系统所采集的过往车辆信息，排队長(cháng)度等信息，结合路网的历史车辆通(tōng)行(xíng)時(shí)間(jiān)，能(néng)够实時(shí)检测路网的通(tōng)行(xíng)状况，為(wèi)出行(xíng)者提供方便快(kuài)捷的交通(tōng)數(shù)据。

　　及時(shí)纠正车辆违法

　　对道(dào)路车辆进行(xíng)实時(shí)监测，对车辆闯紅(hóng)灯、逆行(xíng)、压双黃(huáng)线、驾驶員(yuán)不系安全带驾驶等各种违法行(xíng)為(wèi)进行(xíng)自(zì)动判定及抓拍，也可(kě)以在重要(yào)的路段对于黃(huáng)标车、大货车闯禁行(xíng)等行(xíng)為(wèi)进行(xíng)自(zì)动抓拍，從(cóng)而规范驾驶員(yuán)驾驶行(xíng)為(wèi)，保证车辆有序顺畅通(tōng)行(xíng)，减少(shǎo)交通(tōng)事故。

　　透过這(zhè)些贴近用户业务的需求，以及体现用户价值的功能(néng)应用，可(kě)以看(kàn)出车辆大數(shù)据技術(shù)对于构建新型智慧交通(tōng)系统架构的核心作(zuò)用是相当的明(míng)显。在未来的交通(tōng)行(xíng)业市场，大數(shù)据技術(shù)是极其重要(yào)的竞争力，谁能(néng)在海(hǎi)量的安防數(shù)据里收集、存储和(hé)利用有价值的數(shù)据，并切合用户需求解决实际业务发展的需求，谁将获得交通(tōng)行(xíng)业市场更多的话语权。