海量任务作业调度监控平台 - Primeton JobCtrl - 典型案例

国家开发银行 | 上海银行

2、上海银行CRM系统

2.1 上海银行简介

上海银行成立于1995年12月29日,是一家由上海市国有股份、中资法人股份、外资股份及众多个人股份共同组成的新型的股份制商业银行,总行位于上海。实行“一级法人、两级经营”的管理体制。当前全行注册资本为26亿元人民币。在中国企业联合会、中国企业家协会联合发布的2007年度中国企业500强排名中名列第三百五十一。

2.2 背景与问题

本项目属于数据仓库类建设项目,由第三方公司实现CRM系统相关数据的抽取、汇总等功能,第三方公司主要采用datastage8.5实现ETL过程,另外还包含部分shell脚本和数据库存储过程等,通过这些作业定时调用和相互配合实现相应的业务。另外,如果有重要作业运行失败及修复后,需要把相应的结果发送给银行统一监控平台。

针对项目业务需求和以及现有技术和方法,项目遇到以下问题:

1.      调度规则缺乏,或者不够灵活,无法满足业务需求。

2.      缺少监控方式,或者监控方式不够直观,运维工作繁重。

3.      各类型作业统一调度困难。

4.      调度结果报警不及时。

2.3 使用产品与方案

普元作业调度平台,通过在跨平台异构作业管理、复杂的调度规则、直观的监控以及集中报警和出错通知机制等功能,支持上海银行CRM系统数据仓库建设。

1.      普元作业调度平台提供了日历、频度、事件触发等调度方法,每种类型都提供多种调度规则,而这些调度方法又可以相互组合使用,能实现各种复杂的业务调用。

2.      普元作业调度平台提供作业流、作业、事件、计划等方式的监控,每种方式可以查看列表和图形两种方式;执行日志也可以查看历史和当前的;同时提供立即执行、中断、断点续跑、重置等手工干预方法,大大减轻运维工作。

3.      普元作业调度平台支持ETL工具、脚本、存储过程、可运行程序等各类作业统一管理,并且能够跨越平台限制,实现各类作业的统一调用。

4.      普元作业调度平台提供了集中报警功能,能够实时查看到作业运行失败情况;同时还实现了出错通知机制,可以通过简单配置实现作业运行情况的实施获取。

具体的方案如下:

2.4 实施效果

通过普元作业调度平台实施,为上海银行CRM系统提供了以下功能支撑:

1.      实现了对现有作业的全部统一管理,其中作业总数共496个,DS作业480个,虚拟作业14个,Oracle存储过程,以及部分脚本作业。

2.      和项目中使用的主要ETL工具DataStatge有效的结合,最大发挥DS数据集成能力的同时,有效的补充DS工具在调度和监控上的不足。

3.      实现了DS、存储过程和脚本的统一调度。

4.      提供了集中报警和运行结果邮件通知。


JobCtrl运行时内存溢出问题
JobCtrl5.0安装完成,并成功启动Tomcat,但在访问系统中各项节点的时候,Tomcat报内存溢出,具体错误如下图所示:   ...更多

JobCtrl5.0页面乱码问题
页面乱码,如下图所示: 解决办法 : 将  ...更多

请填写您的购买意向描述:



提交购买意向

请填写您的反馈:



提交反馈
我是普元顾问,欢迎与我在线交流。
在线咨询