大数据时代的自动化企业元数据管理平台 - 功能组成

元模型管理 | 元数据采集管理 | 元数据管理 | 元数据分析 | 数据地图 | 系统管理模块

元模型管理

元数据管理平台的元模型符合CWM规范,同时提供内置数据字典、代码管理等技术元数据和指标、业务规则等业务元数据,符合企业数据仓库环境的各类元数据管理模型。元模型可由用户自定义扩展,满足客户化元数据的需求。有元模型查询、元模型增加、元模型修改、元模型删除、添加关系、权限设置等功能。

数据质量定义模块

数据质量定义模块是整个数据质量平台的基础,它通过对质量维度、检核类别、度量规则以及检核方法的定义和管理给检核任务模块提供必要的输入。

质量维度定义

本系统通过对不同业务规则的收集、分类、抽象和概括,定义了六种数据质量维度。质量维度反映了数据质量不同的规格标准,也体现了高层次的指标度量的特点。

检核类别管理

在质量维度的基础上根据各业务规则的具体特点细化出了九种检核类别,使得数据质量问题更具有条理性和层次感,并可以直接体现出问题数据的特征。

检核类别从实施的角度对各质量维度进行更小粒度的划分,并直接对度量规则的提出进行指导性的定义和说明。

度量规则管理

度量规则是由业务人员根据各检核类别对不同的业务实体提出的数据质量的衡量标准。它是各检核类别在不同业务实体上的具体体现。

针对不同的业务实体依据检核类别定义出度量规则,每一个度量规则都是从业务实体的角度上对质量问题进行简单的描述,都包含一个或多个信息项,这些信息项就是每一个业务实体具体所要检核的对象,这样我们就在每一个度量规则的基础上根据不同的信息项定义出具体的检核方法。

检核方法管理

检核方法是度量规则在不同信息项上的落地实施,也是检核任务模块任务执行的主体。根据度量规则中不同的信息项定义出不同的检核方法,每一个检核方法根据其检核对象定义各自的检核脚本以及相关的属性信息。

检核方法中的检核脚本就是数据质量系统在执行检核操作时所实际执行的脚本,它反映了质量问题的检核逻辑,根据检核类别的不同,其复杂度也不同。

检核方法审核

为了方便检核脚本的定义,数据质量系统提供了脚本配置模板,填写好脚本配置模板后,系统便可生成检核方法各自的检核脚本。

对于脚本配置模板,系统提供了相应的界面,在页面上导入模板后便可由系统自动生成检核方法,然后系统会校验这些检核方法的正确性,对于配置错误的脚本会予以标识,并可在界面中查询错误信息。