智慧交通
大数据中心设计方案
XXX科技有限公司
20XX年XX月XX日
目录
一总体设计2
二数据汇聚3
2.1数据采集.3
2.2数据交换.4
三数据存储4
3.1系统与逻辑架构.4
3.2云存储功能描述.8
3.3云存储业务流程.10
四数据计算15
4.1云计算架构15
4.2云计算功能16
五数据运维17
5.1异常查询.18
5.2运维效果展示18
1
一总体设计
1)中心自下而上由一体化机房/云柜、数据接入集群单元、云存储系统、大数
据系统、云分析系统以及传统的关系型数据库和基础业务处理平台组成,辅以全
网运维系统进行设备和数据的管理监测;
2)中心逻辑上由是接入云接收数据,通过预处理系统进行初步的标准化改造
和高清化改造、由高速数据转发总线进行转发。需要实时进行处理的数据则直接
由各业务子接口直接进行调用,例如稽查布控、视频实时预览、即时指挥调度等;
非实时性处理业务则上送到数据存储和二次分析系统,即结构化数据存储到大数
据的分布式数据库;非结构化的数据存储到视频图片混合云存储系统,两者之间
则通过算法的互相作用实现数据的共享和交换。例如视频存储资源的关键录像标
签通过云存储系统中的录像检索算法将结构化数据转发给大数据系统;
3)核心的智能算法容器则大部分放置在云分析智能工具集,包括过车图片的
二次识别、车辆模型的非特征结构化预处理等;此类数据同样会与大数据系统和
云存储系统互相交换;
4)接入云采用虚拟化技术,通过标准的分布式可扩展框架和接口规范,实现
所有交通基础数据的云接入;
5)数据服务接口则通过虚拟的角色实现不同业务平台对数据读取的接口和
权限控制,同时提供业务平台数据返回通路,实现应用数据重新进入数据中心进
行数据回归分析。
6)通过Sqoop等ETL工具实现关系型数据库与大数据之间的数据迁移和协
同运行,确保稽查布控、违法审核、手动抓拍、集成指挥等子业务平台的正常运
行。