行业报告 AI展会 数据标注
数据标注数据集
您的当前位置:主页 > 智能驾驶 > 正文

关于交通大数据平台的数据架构思考

来源: 时间:2021-06-17


2021年4月16日,交通运输部印发《交通运输政务数据共享管理办法》的通知,对政务部门在履行职责过程中直接或通过第三方依法采集、产生、获取的,以电子形式记录、保存的各类非涉密数据、文件、资料和图表等交通运输政务数据的共享做出了规范要求,为推动交通运输数字政府建设,助力智慧交通发展,加快交通强国建设奠定了基础。

交通平台建设的政策背景

自2019年9月,中共中央 国务院印发《交通强国建设纲要》,提出要大力发展智慧交通,推动数据资源赋能交通发展;2020年8月,交通运输部印发《关于推动交通运输领域新型基础设施建设的指导意见》也提出要助力信息基础设施建设,完善综合交通运输,推动跨部门、跨层级综合运输数据资源充分汇聚、有效共享,深化行业大数据创新应用,以数据资源赋能交通运输发展;2020年12月,国家发展改革委 中央网信办工业和信息化部国家能源局联合发布《关于加快构建全国一体化大数据中心协同创新体系的指导意见》,再次提出数据是国家基础战略性资源和重要生产要素,引导数据中心集群化发展,牵引带动数据加工分析等大数据产业生态集聚发展,深化大数据在交通领域协同创新,繁荣数据智能应用。

交通大数据平台建设的现实意义

一系列政策文件出台,逐步明晰基于信息化发展的数据收集、数据加工,是数据赋能传统交通行业促进智慧交通发展的必然路径。以智慧道路为代表的新型基础设施,在进行试点项目的建设模式探索中也深刻意识到,基于大数据的应用层体系是整个智慧交通系统的核心。

湖南长益智慧高速公路体系架构的四个层次【图片来源于2020智慧交通高峰论坛资料-于凯《湖南省长益高速公路扩容工程》】

湖南长益智慧高速公路体系架构的四个层次【图片来源于2020智慧交通高峰论坛资料-于凯《湖南省长益高速公路扩容工程》】

但以大数据为基础的智慧交通产品应用体系建设,需要完善的数据平台和数据共享机制作为支撑前提。目前,我国交通行业信息化水平不断提升,收集存储了大量的交通数据,但各区域数据交换形式各异,形成了一个个信息烟囱,且由于涉及数据安全、数据的资产价值越来越得到认可,跨区域数据交互和数据获取难度大,大数据加工程度低,无法发挥其更强决策力、洞察发现力和流程优化能力。

因此,制定统一的标准、协议、为数据互联互通建立基础,确定数据共享机制,搭建架构清晰的大数据体系和数据平台,实现交通大数据交互,对智慧交通快速、稳健、市场化发展具有重要意义。

大数据平台的数据架构

交通大数据平台汇聚的数据体量大、来源多、类型杂,服务用户类别多样,包括交通决策者、管理者、交通规划师、系统开发人员等,用户需求也各不相同,在进行平台数据架构设计时,必须考虑数据特性,并分析不同用户的使用需求、目的、方式,对交通大数据的应用场景进行归纳分类,建立面向交通应用场景的大数据平台数据架构,解决数据汇聚难、现状分析难、决策支撑难等问题。

结合数据集成原则和数据仓库的面向主体,可以将数据架构分为原始库、标准库和指标库三个层级。

交通大数据平台数据架构【来源于参考文献1】

交通大数据平台数据架构【来源于参考文献1】

01原始库

原始库存储未经过任何处理的原始数据,是数据平台最基础的层级。任何对数据的处理都会带来信息的丢失,为了尽可能地保留原始信息,需要设置原始库,尽可能地保留未经任何处理的原始数据。原始库由平台管理员进行清洗和标准化,一般不直接面向终端用户。

02标准库

标准库存储经过数据清洗和标准化的格式化数据,是交通大数据处理计算的基础。在原始数据中,不同来源的数据可能出现重复、矛盾、字段不一致,经过清洗、融合和标准化,形成统一的标准化数据进入标准库,对用户提供数据服务,用户不需要考虑不同来源之间的数据差异,也不需要再进行数据转换。

03 指标库

指标库存储面向交通业务应用的数据,是用户按维度建模进行统计、计算或汇总形成的具有交通意义的指标数据,如根据浮动车GPS 数据处理、计算、统计汇总得到的路段平均速度、交通流量等能够体现交通运行特征的指标,这类指标可以用于挖掘交通出行规律,支撑交通运行监测,进行交通分析研判,支持交通规划决策等各类应用。

原始库、标准库与指标库的三级层级架构,能够基于分布式大数据计算框架实现多元异构数据的标准化治理,满足不同场景下交通大数据的分析能力和实时服务能力。

结语

科学合理的数据架构能够在交通大数据分析应用时解决数据汇集难、现状分析难、决策支撑难问题。《交通运输政务数据共享管理办法》印发,代表部政务数据共享平台建设工作正式推动,随着政务数据目录编制、平台数据接入、数据申请流程和使用要求明确,将推动交通运输数字政府建设,助力智慧交通发展,加快交通强国建设。

参考文献:

[1]谭章智、丘建栋、易双、傅恺延、林青雅、郑又伦. 场景驱动的交通大数据平台数据架构设计[J]. 交通与运输, 2020, v.33;No.48(S2):67-71.

[2]吴克寒,王芮,高唱,等. 面向城市交通规划的大数据平台构建方法研究[C] . 2019 年中国城市交通规划年会,中国四川成都,2019.

[3]《交通运输政务数据共享管理办法》

[4]《交通强国建设纲要》

[5]《关于推动交通运输领域新型基础设施建设的指导意见》

[6]《关于加快构建全国一体化大数据中心协同创新体系的指导意见》

责编:李震 | 总监:万军伟


转发量:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
数据标注服务

Copyright©2005-2020 Sykv.com 可思数据 版权所有    京ICP备14056871号-1

关于我们   免责声明   广告合作   版权声明   联系我们   原创投稿   网站地图  

可思数据 数据标注行业联盟

人工智能资讯   人工智能资讯   人工智能资讯   人工智能资讯

人工智能资讯
扫码入群
扫码关注

微信公众号

返回顶部