海量任务作业调度监控平台 - Primeton JobCtrl - 典型案例

国家开发银行 | 上海银行

1、国家开发银行债券综合业务系统

1.1 国家开发银行简介

国家开发银行(China Development Bank)(以下简称“开行”)于1994年3月成立,直属国务院领导。目前在全国设有32家分行和4家代表处。成立以来,开行始终认真贯彻国家宏观经济政策,发挥宏观调控职能,支持经济发展和经济结构战略性调整,在关系国家经济发展命脉的基础设施、基础产业和支柱产业重大项目及配套工程建设中,发挥长期融资领域主力银行作用。

1.2 背景与问题

在债券业务中,由于CDC与开行没有统一的数据标准,因此双方在描述同一信息时,使用的数据项数量、数据类型、数据值等都会存在很大的差别,而随着CDC与开行各自系统的升级,这些差别又会随时发生变化。为了满足保持双方各自数据标准的要求,需要将CDC的债券数据通过ETL工具转换为满足开行数据标准的数据;同时,将开行债券业务数据转换为满足CDC数据标准的数据,然后通过其他系统发送给CDC。例如:债券行权、计息兑付涉及的计息信息的计算,通过ETL工具实现计算的规则;开行债券业务系统与CDC债券业务数据的比对,形成比对结果,并通知相关业务人员等。

另外,由于存在各种需要由系统自动触发事件的场合,并要求能对各种任务提供管理的服务。因此,需要要求系统能够提供以下功能:可以根据年、月、日、星期、时、分进行周期性或一次性任务调度;可以设定工作日、节假日,执行任务调度;可以为不同的任务设定不同的工作日、节假日规则执行任务调度;业务系统可以通过调用API启动任务调度;可以调用JAVA、ETL、存储过程等执行任务调度;任务调度需要支持优先级、先后顺序、事务管理等。通过以上功能实现业务需求,包括:定时获取CDC债券业务市场数据;定时获取CDC债券处理结果数据;定时获取CDC债券比对数据,并进行数据比对处理;定时计算计息兑付信息;定时生成行权、付息兑付提醒信息等。

现状分析如下:

1.      开发工作量大,出错几率高;复用性不强,变动需要重复开发。

2.      作业类型多样,可能包括Java程序、Shell脚本、存储过程、Informatica,缺乏有效的管理。

3.      作业管理缺乏丰富有效的监控和干预。

4.      处理方式复杂,包括定时、触发、依赖,容易操作失误。

1.3 使用产品与方案

通过对国开债券综合业务系统的需求分析,可以运用普元作业调度平台来辅助完成相关的作业管理、调度和监控等功能。通过普元作业调度平台作业管理模块,可以实现各种类型作业统一管理;通过调度模块可以实现各种复杂的调度规则;而通过监控模块可以实时的监控和干预作业运行情况。

国开债券综合业务流程中包括定时、触发、相互依赖等复杂的关系,并存在前后顺序的情况,具体流程如下:

结合现状和普元作业调度平台功能,通过三个步骤完成现有需求:

1.        对现有业务分解,生成标准作业,实现所有批处理作业的统一管理。

2.        运用调度管理的日历、频度、计划/事件、消息等功能,分析业务流程,配置相应的调度规则。

3.        根据调度规则实现作业的自动调用,并实现实时监控运行情况,以及进行各种手工作业干预。

具体方案如下:

1.4 实施效果

通过普元作业调度平台实施,开行债券综合业务项目得到以下几方面的好处:

1.        实现所有批处理作业统一管理,本身更专注于作业的具体实现逻辑。

通过普元作业调度平台,可以很容易的实现国开债券项目所有类型作业的统一管理,项目组成员可以专注于自己擅长的能力,集中精力根据具体的业务实现作业的具体逻辑。

2.        提供了更加复杂的调度规则,支持更多复杂业务逻辑。

首先,普元作业调度平台提供了各种调度规范和方法,并且通过简单的配置即可实现了复杂业务逻辑,降低了开发复杂性和出错几率;其次,复杂调度规则都是通过基本的元素组合而成,易于调整和替换,提高了复用性。

3.        提供了统一的监控方式,减轻了运维工作量。

普元作业调度平台提供了统一的作业监控运维界面,可以通过直观的界面和图形实现作业运行情况监视和干预,使得运维人员告别命令行和日志文件,提高运维效率。

JobCtrl运行时内存溢出问题
JobCtrl5.0安装完成,并成功启动Tomcat,但在访问系统中各项节点的时候,Tomcat报内存溢出,具体错误如下图所示:   ...更多

JobCtrl5.0页面乱码问题
页面乱码,如下图所示: 解决办法 : 将  ...更多

请填写您的购买意向描述:



提交购买意向

请填写您的反馈:



提交反馈
我是普元顾问,欢迎与我在线交流。