基础软件产品

数据处理工具(ETL)
时光数据处理工具(WebCarrier ETL)包含数据抽取(Extract)、转换(Transform)、装载(Load)的过程,是数据仓库建立的重要的一环。WebCarrier ETL的应用,方便了用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。

数据仓库技术是为了有效的把操作形数据集成到统一的环境中以提供决策型数据访问的各种技术和模块的总称,所做的一切都是为了让用户方便查询所需要的信息,提供决策支持。

时光数据处理工具(WebCarrier ETL)包含数据抽取(Extract)、转换(Transform)、装载(Load)的过程,是数据仓库建立的重要的一环。WebCarrier ETL的应用,方便了用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。

时光数据处理工具(WebCarrier ETL)为实时ETL,它能将业务数据源中产生的数据实时的抽取加载到数据仓库,为数据挖掘系统、OLAP软件、商务智能软件等决策支持系统产生更加有效的结果提供数据支持。时光数据处理工具(WebCarrier ETL)的实时特性,确保了业务系统的数据发生变化后,以最少的延误,保持数据仓库更新。

数据产品工具架构图

时光数据处理工具(WebCarrier ETL)架构图
经验分享

ETL核心技术:增量复制

目前ETL中增量数据抽取中常用的捕获变化数据的方法有:触发器、时间戳、快照方式。

上海市科学技术委员会全局性数据仓库解决方案

科技委数据仓库总体架构由数据源、ETL(数据抽取、转换、加载工具)、数据中心、OLAP分析引擎和综合分析平台五部分构成。 数据源即为数据仓库的基础数据来源,主要由科技委各业务系统构成以及一些统计信息,业务数据通过ETL工具进行抽取、清洗、转换最终录入到统一的数据仓库,数据仓库集中存储了经过统...