地理信息资源共享服务平台设计研究

地理信息资源共享服务平台设计研究

摘要:构建地理信息资源共享服务平台,推动服务保障网络化,是提高数据保障能力的重要手段和未来服务保障的发展趋势。本文立足于地理信息数据保障实际需求,探讨了地理信息资源共享服务平台的基本架构和主要功能,可以为相关系统建设提供参考,满足各行业在建设中对地理信息资源的需求。

关键词:共享服务;资源调度;多租户;在线服务

0引言

近年来,各级用户对数据信息保障要求越来越高,呈现出保障速度快、数据时效性强、知识化程度高等特点。但目前数据分散,缺乏统一管理,依靠传统介质拷贝,保障手段落后,保障效率低,保障内容以原始数据为主,缺乏有机融合和深层次挖掘,使得数据保障面临严重的“信息孤岛”危机[1],直接影响了数据保障的深度和广度。为了打破数据保障困境,提高数据保障的效率,应充分借助计算机网络、云计算、大数据等技术,构建资源共享服务平台,实现资源统一存储、管理和调度,推动保障模式由传统模式向着网络化、主动化和智能化发展。

1系统总体方案设计

1.1系统体系架构

资源共享服务系统实现了系统资源、数据资源、服务资源、应用资源的统一集成、共享和管理,整个系统体系架构如图1所示。系统体系架构自下而上分为资源支撑层、数据资源层、服务支撑层和应用层[2]。资源支撑层提供对系统运行环境的硬件支撑;数据资源层提供对数据的支撑环境;服务支撑层集成各类服务软件,并提供二次开发环境;应用层主要提供数据资源的共享与分发,以及根据数据资源和服务资源实现对特定业务应用场景的快速部署和构建等。

1.2系统组成

资源共享服务系统由资源管理调度分系统、数据资源管理分系统、服务资源管理分系统、数据共享分发分系统、应用资源管理分系统和运维管理分系统组成,如图2所示。

1)资源管理调度分系统

主要负责进行系统资源管理调度,针对数据资源和服务资源运行环境要求,完成资源管理、资源调度。

2)数据资源管理分系统

按照一定标准对业务系统生产数据、引接各类数据等进行数据预处理,形成符合系统标准的数据,实现对数据资源统一存储管理。

3)服务资源管理分系统

对服务资源进行统一管理,完成服务集成、服务检索、基础服务集成、业务服务集成和二次开发支撑建设。

4)数据共享分发分系统

向用户提供统一的数据产品资源视图,提供数据查询浏览、数据需求提交、数据需求状态跟踪追溯和数据产品分发等数据服务。

5)应用资源管理分系统

一方面实现各类应用软件的管理和共享,另一方面实现业务特定应用的快速构建和集成功能,完成基础地图、主题图、分析图、业务系统构建等建设。

6)系统运维管理分系统

运维管理分系统实现对整个系统的硬件设施、软件应用、数据资源和用户及其行为信息全面监控、维护和管理,提供系统故障预警、告警等功能,具备基础的统计分析能力。

2分系统功能和组成

2.1资源管理调度分系统

2.1.1分系统功能

资源管理调度分系统主要完成对整个平台的计算资源和存储资源的统一管理。资源共享服务系统提供资源管理功能,实现对资源的有效利用,根据不同资源使用环境要求进行资源规划和分配。在有效管理集群资源的基础上,对不同租户进行调度策略配置,实现对资源快速有效的调度。

2.1.2分系统组成

资源管理调度分系统主要包括资源管理子系统和资源调度子系统两部分。

1)资源管理子系统

资源管理子系统主要包括服务器管理、CPU管理、内存管理、网络管理、存储管理等。该系统实现对上述资源的动态监控识别,并进行设备管理和维护。

2)资源调度子系统

在能够有效地管理集群资源的基础上,资源共享平台还需要能够对资源进行快速有效的调度,并在不同租户间形成一定的调度策略。

2.2数据资源管理分系统

2.2.1分系统功能

数据资源管理分系统,以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务(企业、政府、互联网等)、多终端(PC、H5、APP等)、多形态(现有业务系统、第三方系统接入、互联网采集抓取)的数据,形成统一基础层、公共中间层、百花齐放应用层的数据分层架构模式,通过数据指标结构化、规范化的方式实现指标口径统一,提供数据服务的能力和数据基础,深度萃取数据价值。

2.2.2分系统组成

数据资源管理分系统主要包括数据汇集引接子系统、数据治理子系统、数据存储子系统、数据管理子系统4部分。

1)数据汇集引接子系统

将各种外部系统的数据收集到数据中台系统中,为保证各种类型的应用系统的数据需求,数据采集系统需要采用不同数据采集手段,提供实时数据和离线数据的采集,并支持结构化、半结构化和非结构化数据的采集。支持批量采集、增量采集、准实时采集、实时采集和数据库直连等采集方式。

2)数据治理子系统

数据治理子系统是构建完善、共享、统一管理的数据环境的基本保障和重要组成部分,是把数据作为资产来加以管理的有效手段。数据治理子系统通过一系列的岗位角色和相应的责任及管理流程,保障业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性。

3)数据存储子系统

数据存储子系统通过采用关系型数据库、非关系型数据库以及云存储相结合的方式,对结构化、非结构化的空间元数据和成果数据产品进行统一的存储。

4)数据管理子系统

对数据库和文件系统上存储的多源空间信息数据进行统一的管理,同时对系统中产生的业务、运维等数据进行存储管理。提供对数据的查询、更新、容错恢复和删除等维护能力;提供对数据库中数据及存储系统上所有文件的备份能力,以及存储空间监视能力。

2.3服务资源管理分系统

2.3.1分系统功能

服务资源管理分系统主要实现对服务资源的分类、展示、查询,通过对基础服务、基础工具等服务集成,包括各种基础服务和业务服务,并提供数据服务的搜索功能。基础服务集成主要包括文件系统、分布式数据库、分析型数据及数据分析服务;业务服务集成主要包括地理信息服务、数据工具、制图工具、标绘工具等。

2.3.2分系统组成

服务资源管理分系统主要包括服务集成子系统、公共基础服务子系统、公共基础工具子系统、地理信息服务子系统和服务搜索子系统5个部分。

1)服务集成子系统

通过流程交付给应用市场将应用集成,支持将多个微服务编排为一个产品。提供客户应用集成和管理服务,让用户在同一个平台完成应用开发、测试、部署,从而可以使用数据资产来创造价值,而有效的数据服务又能进一步创造新的数据资产。

2)公共基础服务子系统

公共基础服务子系统提供高容错性和高吞吐量的分布式文件系统。提供分析型数据仓库服务,全面整合各类数据,按照主题组织信息,支持容器化部署。提供大规模搜索引擎服务,支持PB级别的高速全文检索服务,提供高并发支持,以及字段精确、模糊检索和快速统计功能。

3)公共基础工具子系统

提供丰富的大数据开发工具,以及可视化ETL工具、可视化元数据管理工具、可视化工作流调度工具、可视化维度建模工具、可视化BI工具、可视化数据挖掘工具等。

4)地理信息服务子系统

提供WebGIS地理信息平台,提供基础地理位置信息,支持矢量数据、栅格数据等数据格式。提供基于Web-GIS协同标图作业系统,提供专题图制作工具,能够导出制图结果。

5)服务搜索子系统

提供服务资源的分类、展示与查询功能,可以按照服务类别、服务用途进行服务的查询,包括基础底图、专题图、分析图等,能够采用列表、图形的方式进行服务信息的展示。

2.4数据共享分发分系统

2.4.1分系统功能

数据共享分发分系统向用户共享各类数据产品资源视图;根据用户级别及用户权限,为用户提供数据查询浏览、数据需求提交、数据需求状态跟踪追溯和数据产品分发等数据需求服务;支持在线查询下载、数据订阅、主动推送等多种共享分发服务模式;对本中心的数据共享情况进行综合统计。

2.4.2分系统组成

数据共享分发分系统由共享门户子系统、数据产品查询与综合展示子系统、数据需求提交与管理子系统、数据订阅服务子系统、数据主动推送服务子系统、离线分发管理子系统、数据传输服务子系统、共享业务统计子系统组成。

1)共享门户子系统

共享门户子系统通过构建共享服务门户网站,提供单点登录服务、个性化门户定制,提供对数据产品及数据中心总体情况的展示功能。

2)数据产品查询与综合展示子系统

面向各级用户提供空间数据产品编目信息时空一体化查询检索及可视化综合展示功能。

3)数据需求提交与管理子系统

在数据产品查询浏览的基础上,为各级用户提供按需获取的订单式数据服务能力,包括数据产品选择、数据需求提交、数据需求管理等功能;面向管理员提供数据需求审批与监控管理功能。

4)数据订阅服务子系统

为用户提供“按规则订阅,数据主动推送”的服务能力,支持按用户需求进行数据产品订阅规则编辑和管理,系统根据用户订阅申请进行数据筛选处理,并将符合订阅要求的数据产品主动推送给用户。

5)数据主动推送服务子系统

提供“跟踪用户偏好,数据主动推送”的服务能力。自动跟踪并记录用户在某一段时间内数据浏览及使用习惯等信息,构建用户数据画像,并根据数据相关性分析,主动生成推荐的数据产品列表并推送给用户。

6)离线分发管理子系统

在网络环境不好的条件下,为用户提供空间数据离线拷贝分发的服务方式,并对离线分发的用户、数据清单、用途等信息进行登记管理。

7)数据传输服务子系统

提供数据文件的传输及控制服务,为数据中心向各级用户共享分发数据产品提供底层传输服务支撑,实现数据并发传输、传输任务管理、传输任务控制、传输状态监控等功能。8)共享业务统计子系统提供空间数据产品的共享情况统计、需求受理及响应情况统计、数据分发情况统计,提供表格、图形、报告等多种方式的统计结果查看方式,支持统计报告的文档导出。

2.5应用资源管理分系统

2.5.1分系统功能

应用资源管理分系统实现各类应用软件、在线制图和快速应用的管理功能。基于基础地理平台提供Web版的专题图、分析图制作环境,通过制图工具、符号库等工具,实现专题库的制作。同时根据服务资源管理的各个软件模块,实现应用软件的快速搭建,实现从底层数据、数据工具、数据处理、数据存储和数据应用的完整构建。

2.5.2分系统组成

应用资源管理分系统主要包括应用集市管理子系统、容器镜像管理子系统和应用封装与共享子系统。

1)应用集市管理子系统

应用集市具备基本的应用管理功能,包括应用的增加、修改、删除,以及快速查找;应用集市提供应用的配置功能,应用的基本配置均可在页面完成;通过应用集市上的应用模板,用户可以快速地安装并启动应用。

2)容器镜像管理子系统

平台上架的各类应用,相关的容器镜像均存放于平台的容器镜像仓库,平台能够对镜像仓库进行有效的管理。支持容器镜像的增加、删除;支持容器镜像的快速查找;支持镜像仓库分类,以及对于每个类别分别进行授权,包括容器镜像的上传、下载以及删除。

3)应用封装与共享子系统

应用封装和共享子系统对外提供API应用服务,支持API网关和微服务管理能力。提供使用统计、用户身份验证、API授权等服务。通过微服务网关技术,将应用资源封装成RestfulAPI数据接口,上层应用在开发及上线过程中,通过接口访问测试集群或生产集群的数据,实现接口化数据调用。

2.6运维管理分系统

2.6.1分系统功能

系统运维管理分系统提供容器管理平台的运维管理功能,通过运维管理页面,实现平台资源、数据资源、服务资源、应用资源的可视化监控,主要包括平台快速部署、平台资源监控、应用监控、告警服务等。

2.6.2分系统组成

运维管理分系统主要包括资源监控子系统、应用监控子系统、系统告警子系统、应用部署子系统和多租户管理子系统。

1)资源监控子系统

能够对系统所有资源的实时状态进行监控,包括服务器、CPU、内存、网络、存储等。具备集群整体信息监控能力,包括集群整体的CPU使用情况、内存使用情况、网络吞吐、网络延迟、磁盘空间、磁盘IO等;支持单个节点的CPU使用情况、内存使用情况、网络吞吐、磁盘空间、磁盘IO等监控;支持单个容器的CPU使用情况、内存使用情况、网络吞吐等监控。通过可视化技术在管理页面展示上述资源的实时状态。

2)应用监控子系统

能够实时监控平台上运行的各个应用的关键指标,如占用内存情况、活动线程数、发生垃圾回收次数等。通过这些监控数据,分析各个应用的健康状况。

3)系统告警子系统

支持自动告警功能,当平台或应用发生异常状况时,及时发出告警,并实现故障快速定位,支持远程故障排除,协助管理员快速解除异常状况。

4)应用部署子系统

提供容器管理平台一键安装功能,通过平台系统界面对远程计算节点进行软件安装部署,操作范围主要包含执行自动化脚本命令,计算节点上功能模块的部署及升级。

5)多租户管理子系统

资源共享平台面向全军进行服务,包括多类型最终用户、运维管理人员、开发人员等。多租户管理子系统支持对不同类项用户全生命周期管理。

3结束语

本文立足于数据保障发展需求,阐述了资源共享服务系统平台总体架构和各分析系统功能。通过构建资源共享服务平台,推动服务保障网络化水平,极大地提高了数据保障能力。但前期需要对历史数据进行数据治理,制定统一的格式规范和标准,并做好顶层设计,兼容引接的各类数据,支持系统功能和性能扩展。平台建成后,需加强系统运维建设,通过系统运维不断收集用户需求和行为信息,为推动系统主动服务和智能化服务水平奠定基础。

参考文献:

[1]冯稚钧,邵进达,钱金戈.多源空间数据汇交服务系统的应用[J].测绘与地理空间信息,2018,41(1):164-166,171,174.

[2]林予松,李润知,刘炜.数据中心设计与管理[M].北京:清华大学出版社,2017.

[3]王艳东,龚健雅.空间信息智能服务理论与方法[M].北京:科学出版社,2012.

作者:张晶 邓伟 黄令勇 单位:中国天绘卫星中心