首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 数据库 > 数据库开发 >

ETL Automation中的依赖和作业流的有关问题

2012-03-27 
ETL Automation中的依赖和作业流的问题最近在研究TD的ETL Automation,现在有两个问题想请教大侠们,希望能

ETL Automation中的依赖和作业流的问题
最近在研究TD的ETL Automation,现在有两个问题想请教大侠们,希望能帮忙
1·就是作业依赖和作业流的关系,在ETL Automation中是怎么保证每个任务最终会都完成,还有就是假如一个任务在作业依赖和作业流中都没有它,那么它会执行吗?
2·每个作业流都是独立的吗?说automation是通过控制文件来驱动的,那控制文件是automation自己生产的吗?还是外围系统给,丢与非加载累的任务是怎么处理的呢?



急急急急,非常感谢
最好加我QQ:445731088 姓名:李建军

[解决办法]
1·就是作业依赖和作业流的关系,在ETL Automation中是怎么保证每个任务最终会都完成,还有就是假如一个任务在作业依赖和作业流中都没有它,那么它会执行吗?
答:ETL Automation上的作业一般都会正常加载完毕的,除非是依赖关系混乱或是未触发。确定最后是否全部加载完毕的标准就是ETL Automation会有一批检查脚本,他们是依赖需要加载的作业的,最后查下这些检查脚本是否全部加载完毕就知道是否全部脚本已跑完。
假如一个任务在作业依赖和作业流中都没有它,那他就是时间点触发的,他不需要任何依赖。ETL Automation上有个etlschedule进程是触发定时脚本的。时间点触发的脚本可以有后续,也可以没后续。

2·每个作业流都是独立的吗?说automation是通过控制文件来驱动的,那控制文件是automation自己生产的吗?还是外围系统给,丢与非加载累的任务是怎么处理的呢?
ETL Automation的作业流是根据依赖关系配置而定的,可以说独立。比如A作业依赖于B、C、D作业,那么只有当B、C、D作业都加载完的情况下才会加载,和其他作业无关。
控制文件是怎么产生的我也没搞清楚,但是控制文件的调度比较清楚,脚本依赖好了,会产生个dir.控制文件放在receive文件夹中,接下来就是Etlrcv进程调度receie目录下的dir.控制文件到queue目录同时改成.dir文件,把脚本状态改成Pending。然后就是Etlmaster进程调度queue目录下的控制文件到process目录下,把脚本状态改成Running,脚本开始加载
 

热点排行