上海市科学技术委员会全局性数据仓库解决方案

[2013年11月2日,陕西西安]

一 项目背景

伴随着国家信息化建设的快速发展,各级地方科技委管理信息系统日趋完善,业务处理量不断提供,数据存储量急剧增长,这样就为建立综合信息分析与决策支持系统提供了规模庞大的分布式数据资源。但是这些规模庞杂的数据都凌乱的分布在各个应用系统中,系统之间很难进行交互,信息无法得到共享,不能发挥IT系统的整体价值。如何从这样分布的、海量的、速变的数据资源中提取有价值的信息,为决策者提供例如:项目收支情况、专家信用评价等决策支持信息具有重要的理论和现实意义。

数据仓库是一个面向主题的、集成的、稳定的、随时间变化的数据集合,用以支持管理部门的决策制定过程。数据仓库的特点决定了它是实现分布式数据整合的最佳解决方案。目前各科技委应用系统所使用的数据库主要是为了实现联机事务处理(OLTP),它是为已知任务和负载进行设计的,在数据结构、内容和用法上与数据仓库有很大的不同,无法满足复杂的查询和数据挖掘需求,另外由于没有一个统一的数据视图,管理者无法站在一个系统的角度进行决策。因此,以科技委的业务系统为基础构建数据仓库,以数据仓库为核心开发综合信息分析系统,是充分利用科技委分布式资源,提升信息价值的有效手段。

二 项目介绍

2.1项目目标

项目建设的第一个目标是建立全局性数据仓库。

科技委业务系统经过多年的运行,产生了大量的业务数据,目前这些大量的业务数据如果继续存储在业务系统中对其进行统计分析势必将影响业务系统的正常运行,大量的查询和报表也影响业务系统的性能和效率。如果定期进行备份,这些历史数据将不能对目前的业务起参考作用,业务系统的历史数据价值也大打折扣。如何做到既不影响业务系统的正常运行又最大限度的利用分布式历史数据的价值呢,最好的办法就是建立全局性数据仓库,定期的将科技委业务系统的数据抽取到数据中心。

项目建设的第二个目标是建立综合查询分析中心。

数据仓库建设完成之后再此基础上建立综合查询分析平台不仅能实现单业务系统的简单查询,还能实现以下单个业务系统所不能实现的查询分析功能。

项目建设的最后一个目标也是最重要的一个目标就是建立领导决策中心。

系统对历史数据进行分组统计分析、周期分析等一系列的分析操作之后找出主要科技项目支出情况、变化趋势;专家信用度分析、变化趋势、与往常有何不同;项目预算执行情况等信息,以报表的形式展现给决策者,为决策者站在一个全局的角度分析问题提供理论基础。

2.1系统总体构架

科技委数据仓库总体架构由数据源、ETL(数据抽取、转换、加载工具)、数据中心、OLAP分析引擎和综合分析平台五部分构成。

数据源即为数据仓库的基础数据来源,主要由科技委各业务系统构成以及一些统计信息,业务数据通过ETL工具进行抽取、清洗、转换最终录入到统一的数据仓库,数据仓库集中存储了经过统一标准化转换的各业务系统数据以及囊括了用来描述仓库数据结构、ETL抽取规则、系统操作范围的元数据,OLAP引擎在数据仓库的基础上对数据进行多维分析并形成报表经由综合分析平台进行展现。如下图:

系统总体构架图

三 解决方案

3.1主要功能模块架构

科技委数据仓库系统应具备下述功能模块:数据抓取(上报)管理、数据汇总管理、报表及统计分析、元数据管理、安全性管理等模块、

* 数据抓取管理模块:通过ETL工具将各业务系统数据经过标准化处理之后装载到科技委全局数据仓库。

* 数据汇总管理:数据中心内部将各业务数据按照数据仓库的特定按主题的进行汇总处理

* 报表及统计分析:按照各部门以及领导的应用需求建立分析模型,设计报表模板。

* 元数据管理:对ETL过程中设计到的数据处理规则、流转转向、以及系统结构、试用范围进行统一的管理与维护,为今后的系统升级、系统排错提供可靠的数据支持。

* 安全性管理模块:对数据进行加密、通过JMS数据可靠传输提供有力支持。

系统逻辑架构如下图:

系统逻辑架构图

3.2系统技术实现

规范各业务系统数据编码和数据口径;

异构数据源的支持;

提供对数据集进行OLAP分析;

规范系统使用权限,灵活定制报表;

提供多种安全机制保证科技委业务数据传输的可靠性、安全性

3.3协同企业服务总线

西安协同数据集成中间件提供了符合SOA架构的数据整合平台SynchroESB_DataService,它支持了数据整合的完整生命周期。

四 使用情况

该项目中,协同时光软件数据集成中间件提供了符合SOA架构的数据整合平台SynchroESB_DataService,它支持了数据整合的完整生命周期。如下图:

数据整合的完整生命周期

协同集成中间件提供了构建科技委全局性数据仓库所涉及到的各种关键技术环节,通过建立科技委全局性数据仓库,以数据仓库为基础开发综合数据分析平台是充分利用科技委庞大的分布式数据资源、提升数据价值的有效手段。

该系统上线后运行稳定、数据处理安全可靠,提高了科技委业务系统的数据处理效率,获得用户好评。

本文来源:时光·协同
更多
相关文章
关注我们
媒介联系

Email:marketing@cicro.com

TEL:(8629)87579521

FAX:(8629)87579518