首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 数据库 > 数据库开发 >

请教哪位高手有设计开发ETL方面的文章资料

2013-04-21 
请问谁有设计开发ETL方面的文章资料?各位好,本人正在准备硕士论文,题目 是 数据抽取转换工具的关键技术研

请问谁有设计开发ETL方面的文章资料?
各位好,本人正在准备硕士论文,题目 是 数据抽取转换工具的关键技术研究及设计
大体上是准备研究ETL的各个方面,最后设计开发出一个ETL系统(工具)

大体的研究目标:
1. 讨论ETL工具的研究背景和国内外研究现状,并对ETL的基本概念和结构做了介绍说明并指出了当前ETL研究的不足。在此基础上,提出研究内容和目标,并制定研究思路。
2.  在分析ETL系统开发目的、系统应达到的性能的基础上,介绍ETL的系统框架、工作流程,以及相关的开发工具和系统实现的主要技术。
3.  分析数据整合与集成的需求,提出数据整合与集成的目标。给出ETL系统中数据整合集成模块的总体设计方案,并详细介绍公共数据模型,包装器的设计与实现,协调器的设计。
4. 分析映射策略,详述基于需求驱动的单数据项映射表达式的映射方案。并以一个实例说明映射表达式确立和映射关系的存储过程。
5. 总结研究工作和创新点,并提出了进一步研究的方向。

请问谁有设计开发ETL方面的文章资料等?

多谢了。
[解决办法]
目前,在主要产品级调度解决方案中,虽然都具备流程图,比如Datastage、Informatica、Control-M,它们都具有流程图展示功能,但是在面对成百上千的任务节点时,流程图展示就会像蜘蛛网一样,失去直观性。特别是流程图任务节点在人为不断增删改后,流程更是失去直观性的效应,难于阅读、难于理解、难于操作。

市场上ETL流程设计方案主要是对话框配置方案(图形拖拽方式本质也是对话框定义方式),即通过对话框方式定义每一个任务,一千个任务即需要通过一千组相应的对话框定义,这种方式需要用户不断在不同任务定义对话框中定义保存以及切换,不仅操作繁琐,而且信息难于阅读与编辑。 在实际实施中,很多用户为了避免这种繁琐的对话框定义,采用编辑性强且信息平面化的Excel进行配置,从而使调度软件自身的流程设计方案形同虚设,同时,软件本身对用户定义信息Excel文件又失去可管理性。

诸多调度方案与产品均可支持任务的扩展,即可调用不同类型的任务。但是总会出现任务应用不统一的现象以及任务定义接口不清晰等问题。比如任务中断方式不统一、日志查看方式不统一,对于任务定义而言,不同类型的任务有不同的定义接口等。这种技术差异直接抛给用户,使其增加了更多的应用成本。


给你个资料文档库,可以借鉴下
http://www.taskctl.com/html/20121105/555201a9d5a54d10b3fe464c6cc37ffc.html
[解决办法]
对了,看下《产品白皮书》,里面有行业分析!
[解决办法]
Kimball 有一本书ETL 工具箱 讲的非常好。 

热点排行