首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 数据库 > 数据库开发 >

kettle 的数据转移解决方法

2013-01-05 
kettle 的数据转移不知道应不应该发到这个区,如果有错误请帮忙转移。我现在有两张表A和B,现在要实现A里的数

kettle 的数据转移
不知道应不应该发到这个区,如果有错误请帮忙转移。

我现在有两张表A和B,现在要实现A里的数据往B里实现增量转移。数据量大概在50万条左右。

条件1:B里有3个字段是A里没有的,并且不能为空,这三个字段需要用代码生成,然后插入。
条件2:A里的数据有可能每天都有添加、修改和删除,B里要实现同步。


kettle新手,看了两天的kettle文档,但是还是不知道如何下手,之前是用存储过程实现的,但是有点麻烦,所以想使用工具。

请各位帮忙给个方案,谢谢了!!!
[解决办法]
kettle本身没有实现触发器捕捉数据变化的机制,你如果需要实现这样的效果,需要在源数据那边做数据预处理,对源数据进行增、删、改的数据捕捉,然后与存储到临时表中。数据抽取对象再转换为这个临时表,按照时间戳来进行数据过滤,需要注意时间的格式。
[解决办法]
楼主针对的数据库有很多吗,如果只是纯oracle和sqlSERVER,可以考虑用数据库本身的CDC功能把要捕捉的表发布出来。

IBM有一款用于数据捕捉的通用CDC软件比较,如果有米可以考虑,呵呵
[解决办法]
在表里添加一个字段做为标识符,同步、修改时改变这个状态,当状态改变时对这些数据向b表进行新增或修改

热点排行