Kettle设计中JOB前的总控表概要







之前我们控制一个JOB运行与否的动作基本上修改Crontab等计划任务 个人觉得这个非常麻烦 也没有必要。试想如果能有一个总控机制的调度系统的话,类似的工作可以忽略很多。
因为有了总控表的概念  我们就可以在将来使用Web来实现Kettle的调度和监控。


总体的设计可以是在Kettle所属DB里添加一张表 该表的设计应该满足以下几个需求
1、设计一个EM字段来显示该JOB是否可以运行 0是ok 1是Disabled掉了 不论是什么原因
2、结合1的需求继续完善一下 设置一个轮训机制 比如设置7个Columns 分别表示周一到周日是否运行的,比如周日如果有DB维护动作 我们就可以在总控前台讲周日这个Column标记为1.当然了 这一系列的动作我们都可以在Web前台页面完成。
3、各JOB运行时间和Loading的记录以及平均值。 分别记录 最近一次运行 最高峰的一次运行  和平均运行值。
4、JOB所达主机网络状况,如果该host属于没有相应或着ping的时候没有反应的话,该JOB忽略本次运行,该线路如果长时间属于不可达状态的话,就会Email通知相关人员,CC给MIS。
5、暂时还没想到 但估计用处不止这些!

评论

此博客中的热门博文

Kettle设计中 判断的基准和多数据流时的主键唯一性

9月的诚品书单[待修订]

引用 vista下.lnk快捷方式打开方式修复