大数据时代的数据集成共享与交换平台( Primeton DI) - 在金融、政务行业的典型应用案例

诸暨市智慧安居工程数据交换平台建设 | 上海银行CRM系统

诸暨市智慧安居工程数据交换平台建设

智慧安居工程简介

诸暨市智慧安居工程以科学发展观为指导,整合各方资源,广泛应用物联网和云计算技术,创新发展“枫桥经验”,创新公共安全防范和服务手段,建立和完善智慧型的工作体系,精准掌控公共安全状态,提高信息化应用和公共安全管理、服务水平,实现安民、保民、便民、利民,为大城市建设和率先基本实现现代化营造和谐稳定的社会环境。

为了更好实现上述目的,需要建设一个统一的智慧安居系统平台,实现安居统一服务,并通过整合分系统建设中的信息以及接口以实现数据信息深层利用。特此提出软件对接标准要求规范,所有一期建设所含分系统需要在此规范下开放数据以及调用接口,统一用户使用接口。

背景与问题

智慧安居工程建设始于2011年,以信息化应用为主要载体,包括信息指挥服务中心、智慧防控体系、智慧服务体系、智慧应急体系等16项内容。本阶段以建设国家级示范工程为目标,联合开展“智慧安居”工程试点建设,力争在枫桥经验50周年到来之前完成“智慧安居”工程试点建设,为进一步提升诸暨市城市管理水平和产业升级提供一个强有力的平台。现阶段信息交换、资源共享和业务系统成为发展的关键。目前系统缺少统一规划,各自为政、重复建设,对用资源共享与交换缺少统一信息平台作为依托。部门间的条块分割管理体制造成了诸多信息孤岛,数据割据造成了资源分散不利于今后其他系统的业务展开。各部门间的业务协作采用最原始的沟通方式,如:电话、Email、资源拷贝等方式,不能有效地保证数据的及时稳定传递,而且在实际工作中造成了许多人为的数据错误。

使用产品与方案

♦      总体设计

Primeton DI在数据交换平台中可作为一个统一的数据来源,主要提供了各业务系统之间的实时数据交换功能。将各个系统中的业务数据抽取,经过过滤清洗转换形成数据中心所需要的数据。

♦      前置交换节点

前置交换节点是资源共享交换平台的重要组成部分。多个前置交换节点一同构成了分布式的资源交换与组件运行环境。前置交换节点由一个前置交换数据库和节点软件构成,在节点软件中的Primeton DI负责将一个或多个业务系统中需要共享的数据通过标准的ETL方式装载到前置交换数据库中,通过节点软件中提供的各种接口协议适配服务与资源交换中心进行对接。

♦      中心交换节点

中心交换节点由数据存储中心和数据交换中心构成。PrimetonDI Server实现了前置交换节点与中心交换节点的基于JMS的可靠消息传递交换。PrimetonESB®暴露HTTP、JMS、SOAP接口供外部调用,PrimetonESBGovernor提供了中央管理功能,通过心跳服务实时监控各服务节点的运行状态、负载、传输量等一系列交换信息。资源目录提供了实体资源的注册、发布、更新、寻址等功能。数据中心存储了经过统一标准化的可供共享的各业务系统实体数据。

♦      前置交换节点与平台对接

在资源共享交换平台中,中心平台的作用主要是对实体业务数据的存储,目录资源的存储以及资源交换的管理与调度。前置交换节点实现了业务数据的捕获,目录元数据的编目,与其他交换节点进行点到点的数据交换等功能。前置交换节点与平台的对接是系统实施的核心,如何根据自身应用系统发展的现状以及网络部署情况选择合适的接入方式尤其重要。

♦      交换平台的监控

资源共享交换平台的核心功能除进行资源交换之外还有交换过程的监控。分为两种监控形式:

1.数据管理系统监控

数据管理系统通过数据交换系统采集交换至中心的各类参建部门的数据,提供了统一的数据转换、清洗、比对和整合加工功能模块,形成了共享数据中心。在数据处理过程中,平台监控管理系统提供了对处理流程实时的能力,能对数据处理流程进行远程控制,查看某一节点的数据的详细信息;并对流程进行启动、停止、状态转换等操作。

2.共享数据中心监控

共享数据中心是由数据库软件建立起来的数据存储中心,平台监控管理系统将对实时监控数据库出现的故障、性能问题,通过短信、报警等方式及时通知系统管理员,最大可能的减小对系统的影响。

♦      性能

为了提高数据在平台“落地”以及数据“落地”后的加工整合处理效率,设计方案在数据模型、数据处理及数据存储三个方面进行了优化。

1.数据模型的优化,按照数据涉及业务域进行分片、将经常需要联合使用的多张表进行合并、为表字段建立索引等。

2.数据处理优化,运用应用集成中间件提供的数据服务Primeton DI特有的基于数据流的数据处理模式,能大大提供数据加载与整合的效率。

3.数据存储优化,将重复性比较高的数据进行压缩同时对历史数据进行物理区分,这样不仅可以减少存储空间,而且可以大大提供I/O性能,提高了查询响应的速度。

实施效果

通过Primeton DI建立的资源共享交换共享平台,方便快捷实现了各系统的信息资源的交换与共享,同时作为城市政务数据的进出通道,实现了城市政务数据的交换、清洗、整合和加工。信息交换共享平台提供的政务数据共享服务,为城市政府专网和公共网络上的各类智慧应用提供了基于城市公共数据库的数据服务、时空信息承载服务、基于数据挖掘的决策知识服务等。