混合云下城市交通大数据协同平台分析

混合云下城市交通大数据协同平台分析

摘要:对交通大数据的深入挖掘和分析,可以帮助政府更好的管理城市交通问题。本文构建了一种基于混合云技术支持多源异构数据存储、多学科模型集成、多形式可视化分析结果显示和多用户协同分析的城市交通大数据协同分析平台框架,并设计了平台用户的协作机制。

关键词:混合云;城市交通大数据;协同分析;数据治理

1概述

近年来,交通数据来源越来越广,数据类型也日益丰富,而不同交通信息系统之间相互独立,易出现各自为政、条块分割、大量重复建设和业务无法协调等问题,建立一个兼具大数据分析和各部门协同功能的平台迫在眉睫。混合云兼具弹性资源和安全保障,有存储数据量大、计算能力强、信息融合可共享等优点。因此本文设计了一个基于混合云的交通大数据协同工作平台的系统框架和多用户协同分析机制,并进行了研发和应用实验。

2系统设计

2.1系统架构。结合混合云计算技术,本文从全局的视角出发,考虑到资源集成、业务互联和数据互通等方面后,进行了系统总体框架的设计,如图1。本系统一共分为六层,其中数据资源层包含数据采集层和数据层。数据采集是指通过设备获取交通相关数据的过程。数据层是对采集到的数据进行初步筛选、整理、格式转换等预处理,方便后续的存储、调用、分析和封装工作。数据逻辑层包含数据存储和数据分析计算两种功能,为数据服务层提供数据支撑。数据逻辑层即混合云,由本地数据库、私有云和公有云组成,其中私有云仅限内网可以登录。数据服务层负责不同模块之间的数据交换和传输。数据表现层负责web前端界面用户交互操作、数据挖掘结果的展示。协同层是指通过视频会议和云文档的方式辅助用户协同。用户层包括数据管理员、专家、公众和决策者。

2.2系统协同机制。本文中的协同分析主要是指来自不同地理位置和背景的用户根据各自的领域共同解决某些交通问题的过程,贯穿于从数据收集、存储、分析到决策的全过程。城市交通大数据协同分析平台的协同机制如图2。其中,数据管理员负责确定数据的敏感性,并清理上载的数据,以确保数据的安全和质量。专家负责算法模型的研究和实现,以及对计算结果的分析。决策者负责根据专家的分析和公众反映的实际情况制定政策。

2.3系统安全保障。本文通过建立防火墙将内网与互联网或其他外部网络隔离开来,并通过限制网络访问来保护内网,从而确保云中数据传输的安全。同时在混合云中部署SSLVPN设备和虚拟映像,建立私有的加密传输通道,避免数据盗窃和非法攻击等安全威胁。用户通过安装VPN客户端建立SSLVPN连接,远程访问虚拟私有云进入系统登录界面。在确认用户的身份信息之后,系统将自动跳转到为内网用户服务的数据分析界面。此外,系统设有用户操作记录功能,所有操作信息都记录在日志文件中,并定期上传到云中。

3原型系统

以北京为例,每天会产生数亿条动态交通运行数据,其中大部分具有位置和时间属性信息。依据北京市交通数据结构和用户可视化分析需求,本文基于上述系统架构和协同机制研发了北京市交通大数据可视化系统。目前,该系统已成功在阿里云服务器上部署并运行。北京市交通大数据可视化系统架构如图3。根据出行数据的来源,系统分为出租车、共享单车、公交车、停车和地铁五大模块模块。系统支持内网用户在web端进行固定格式数据上传、数据查询、可视化服务调取等操作;其他用户可查看可视化分析结果,且支持在讨论区对结果进行评价和反馈。

4结论

为有效管理多源异构的交通大数据,并实现数据的高效协同利用和分析,本文设计了基于混合云计算技术的交通大数据协同分析平台的系统架构和多用户协同分析机制,并介绍了基于该系统架构下原型系统的实现。当前,为万物互联网提供技术支持的5G已正式投入使用,进一步推动了数字双城的建设。如何继续提高海量数据下的计算效率,保证计算的实时性和稳定性将成为未来研究的主要方向。

作者:李媛翯 张健钦 赵明 单位:北京建筑大学测绘与城市空间信息学院 城市空间信息自然资源部重点实验室