大数据时代的自动化企业元数据管理平台 - 典型案例

国家开发银行 | 中信银行 | 中国银联 | 上海银行 | 中信银行 | 国家开发银行 | 上海银行

国家开发银行数据管理系统

国家开发银行简介

国家开发银行(China Development Bank)(以下简称“开行”)于1994年3月成立,直属国务院领导。目前在需要全国设有32家分行和4家代表处。成立以来,开行始终认真贯彻国家宏观经济政策,发挥宏观调控职能,支持经济发展和经济结构战略性调整,在关系国家经济发展命脉的基础设施、基础产业和支柱产业重大项目及配套工程建设中,发挥长期融资领域主力银行作用。

背景与问题

本着对数据平台的数据质量提升的目的,国家开发银行在2009年8月开始建设数据管理项目。但有些方面仍不完善,其中包括偏于技术方面,业务部门无法使用,使得系统在全行范围内无法推广,在数据标准管理上缺乏管理机制。元数据方面数据比较松散,没有形成一个整体的体系。在系统建设过程中,开行发布了数据管控的六个管理办法,系统配合管理办法建成了部分管理功能,但是管理办法的电子流程管理没有完全在系统中实现。

数据管理系统与国家开发银行当前数据仓库的建设、数据标准咨询等项目有着重要的联系,本期项目中与数据仓库的建设及数据标准咨询的配合也作为实施过程中的一项重要内容。为了提升国家开发银行数据管理效率和服务水平,增强和优化前期系统功能,提升用户体验,同时,依据国家开发银行出台的六个数据管理办法,完善管理流程系统和配合数据标准化落地,加强数据管理系统的推广工作。国家开发银行建设的目标是满足源系统、ODS、数据仓库以及下游部分应用对元数据管理的业务需求,借助元数据分析功能对上游系统发生变更时发现对下游系统的影响进行分析并进行变更同步及变更通知,建立全行的全局数据地图。元数据的实施范围包括源系统、ODS、EDW、集市、业务系统,应用系统(报表)。

使用产品与方案

通过普元元数据管理产品支持源系统、ODS、数据仓库及下游部分应用对元数据的应用需求。增加采集适配器,定时自动的采集元数据保证元数据数据的及时更新;同时保证真是数据关系的建立,推进全行数据地图的建设,深化元数据管理系统的核心功能,强化元数据管理系统对外的接口服务,辅助数据标准的落地实施。为支持运行态元数据的采集,提供以下适配器,PowerCenter采集适配器、Cognos采集适配器和Perl日志采集适配器,支持本期EDW和统一报表平台的运行态元数据管理。

对于元数据,在实施上支持如下元数据的采集:

(1)   数据仓库临时区物理数据模型元数据和ETL转换元数据。

通过临时层表EDW_SDATA_TAB_COL_LIST需要增加EDW的字段,并提供访问EDW_SDATA_TAB_COL_LIST等表的权限。

(2)   数据仓库基础区逻辑数据模型元数据。

通过Erwin导出XML文件获取逻辑模型元数据。

(3)   数据仓库基础区物理数据模型元数据。

通过Excel模板文件pdmTaskDetails.xls采集物理模型元数据

(4)   数据仓库基础区ETL转换元数据。

通过Excel模板文件sdmTaskDetails.xls文件采集ETL转换元数据。

(5)   基础层标准化定义映射。

通过Excel模板文件采集标准化定义映射,模板中需定义信息项LDM映射。

(6)   源业务系统物理模型。

通过直连源业务系统的数据库采集物理模型,需网络连通能访问到数据库,并有访问STAT层的源到目标映射表的权限。

元数据在功能上,支持以下功能:

(1)   支持数据仓库变更工作流程。

(2)   支持采用原模板的导出,方便用户修改数据之后再导入,形成数据的闭环,保证元数据的可传递性及易维护性;分析结果原模板导出,对于影响血统分析的结果支持按原模板导出,便于用户快速锁定相关元数据并导出修改,修改完之后支持导入以更新元数据。

(3)   PDM和LDM关联:建立PDM和LDM之间的关系,方便后续的影响血统分析。

(4)   物理模型中文化,支持从设计态的人为整理的EXCEL模型中文名称更新到运行态物理模型中,这样用户在使用运行态元数据时易于理解。

实施效果

♦        企业级的全面元数据管理,纳入了全行的各类元数据,全面共享元数据,为全行提供了统一的数据字典。

♦        通过元数据管理系统建立了全行的数据流视图,提供了数据的血统、影响分析,辅助系统的开发运维。

♦        通过元数据管理系统建立了数据标准和技术元数据的映射,辅助数据标准的落地执行。

♦        提高采集的自动化程度,确保元数据获取的及时性和准确性。