谈重载列车运行数据综合分析系统设计

谈重载列车运行数据综合分析系统设计

重载列车在运行过程中,需要多系统、多设备协同工作,保障列车运行安全,同时各系统也产生大量列车运行数据信息,但目前各专业运行数据都分散在各业务系统中,没有进行统一存储和统一管理,对运行数据也只进行单一分析,不能有效、充分挖掘出数据背后隐藏的信息,及时发现列车运行过程中存在的问题。为进一步提高重载列车运行数据的管理和运用水平,结合大秦线2万吨重载组合列车运行现状,充分运用信息化手段,构建重载列车运行数据综合分析系统,对重载列车运行数据进行统一管理,并运用数据挖掘等信息技术,对6A、LKJ、EIP、列尾主机及控制盒、无线通信等列车运行数据进行综合分析,同时导入重载列车试验数据进行关联分析,旨在发现和挖掘列车运行过程中潜在的风险和问题,进一步提升重载列车运行数据存、管、用整体水平,保障大秦线2万t重载组合列车运输安全。

1需求分析

为满足系统数据的获取、存储、分析需求,从实际应用出发系统功能设计如下:

1.1列车运行数据的采集

能够实现将可能影响列车安全运行的各类数据源提供的数据汇聚到综合分析系统中。主要的数据源包括6A、LKJ、EIP、列尾主机及控制盒、无线通信等系统产生的数据;在导入时是首先要对每个数据源的数据项名称、含义、类型、长度以及产生周期,以及数据文件格式进行分析,并利用数据采集模块将各类数据导入到本系统中。

1.2数据的统一存储和管理

系统应需构建满足列车运行数据综合分析业务要求的数据仓库,能够对导入的运行数据进行统一的组织、存储和管理。

1.3列车运行数据综合分析

构建满足列车运行数据综合分析模型。根据各类数据的特点和列车运行实际状况,运用深度学习、数据挖掘等信息技术,构建重载列车运行数据综合分析模型,可实现对数据的综合分析和关联分析。

1.4列车运行数据可视化展示

借助图、表等形式的可视化技术和工具,形象直观地展示统计查询、综合分析结果,为决策者提供高效的信息和观点。

2总体架构

据需求分析结果,利用软件设计需要抽象化、模块化和隐藏信息等思想,结合面向对象设计原则,系统总体采用分层架构,分为服务层和应用层、基础平台层、数据源层、模型层、数据存储层。系统通过导入重载列车运行数据,在此基础上对各类数据进行数据抽取、过滤、转化和加工,最终形成可分析的干净数据,实现对列车运行数据的统一存储和统一管理;然后再运用深度学习、数据挖掘等技术对各类运行数据进行统计查询和综合分析,再进行辅助决策,最后进行可视化展示。本文提出的系统的整体架构如图1所示。

3功能实现

列车运行数据综合分析系统以重载列车运行数据为依托,根据数据源不同采用对应方式获取基础数据信息,利用数据仓储技术对数据进行统一存储,根据数据特点和应用要求分类进行数据处理,最终实现数据的综合分析。系统业务流程如图2所示。

3.1数据采集

各运行数据对应不同的数据系统和存储方式,数据采集需按照“一数一采”的方式进行,根据数据源不同采用对应方式,总体方式上按照手动上传和自动获取两种。本文使用KETTLE(一个开源数据分析工具)建立了一个多源高效的ETL过程模型,对已有的列车运行状态数据进行随机抽取,然后进行转换,最后加载成为分析型数据,从而实现了数据的快速高速地集成,这种方法为重载列车运行数据综合分析系统及数据挖掘提供了可靠的数据源。具体流程如下。

(1)基本数据获取

系统主要获取的数据包括6A、LKJ、EIP、可控列尾主机及控制盒、无线通信等列车运行数据,这些数据都是列车在运行过程中各设备工作、监测记录的列车运行数据。数据获取后经过简单的整理和去重简化后得到如表1所示的原始字段。构建ETL转换后的表结构作业流程是一个总体与过程相互依赖ETL活动,总体是ETL的总体规划,过程是协调执行过程。因此,根据设计的表结构,利用Kettle中的Spoon组件提供的可视化界面设计了五个ETL处理流程,包括6A维度、EIP维度、LKJ维度、可控列尾维度和其他数据维度,从而实现了对整个重载列车运行状态数据集成的总体控制。

(2)ETL数据转换(Transformation)流程设计

作业流程通过转换流程实现基础数据和目标数据相互映射的功能,在具体设计中,利用数据转换(Transformation)脚本,实现了对重载列车各类数据的处理,处理功能包括去重、排序、选择和去噪等,从而实现了将信息加载到相应的事实信息表或维度中。

3.2数据存储

考虑到提出的方法不能影响现有的业务系统的正常工作运行,同时保障重载列车运行数据综合分析系统安全性和稳定性,于是通过构建了一个数据仓库,在数据仓库中对数据进行统一存储和管理,实现数据的高效存储、流转、运用,提高重载列车运行数据的整体运行安全和运行效率。数据仓库结构如图3所示。

3.3数据处理

根据数据的应用情况,结合数据实际,对基础数据进行数据清洗。特别强调的是由于列车运行数据由不同厂家研发,系统相互独立,没有关联,每趟车各设备产生记录的所有数据都存在时间不一致的问题,因此在分析之前需先对每趟车所有数据进行时间轴对齐。具体根据列车速度、每把闸的制动过程等内容进行校准对齐。

3.4数据查询

系统可根据车次、机车车号、司机姓名、可控列尾主机编号、日期、公里标等信息进行数据查询检索。数据查询分两个维度,一是单一的每组数据查询;二是一趟车产生的6A、LKJ、EIP、可控列尾等数据的查询,可全部展示,也可通过复选框等形式分别随机组合展示其信息。

3.5数据显示

每组数通过数值和图像曲线等不同形式进行显示,可通过单选框选择对应的数据项点生成曲线。数据曲线显示如图4所示。

3.6数据综合分析

采用相关性分析方法,结合数据特点,选取分析模型。确定好模型了之后,通过大量实验对模型性能进行优化,提高模型分析效率和准确性。同一车次制动过程运行数据如图5所示。重载列车运行是一项多系统、多专业配合的综合工程,做好对列车运行数据的分析,及时准确发现列车在运行过程中存在的一些隐藏风险和问题,并采取有效应对措施,可以最大限度的避免列车发生故障,提升重载列车整体运行安全。

作者:王健慧 单位:大秦铁路股份有限公司科学技术研究所