ETL 数据抽取 如何实现增量抽取？
大家好！
数据抽取的时候如何实现增量？
大家可以说说自己的想法或者做的方案。
我手头有这个样的一个项目，如果大家有兴趣也可以说一下自己的想法，你感觉
怎么做比较合适！
数据仓库 ：ORACLE 10g
源数据库： ORACLE 10g 、SQL2008、MYSQL 三个数据库
实现数据增量抽取！
如果在不改变业务表结构的情况下，怎么做呢！我很不情愿改变业务表结构！
[解决办法]
a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建立触发器，对业务系统有一定的影响。
b.时间戳：它是一种基于快照比较的变化数据捕获方式，在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。当进行数据抽取时，通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新，即表的其它字段的数据发生改变时，自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新，这就要求业务系统在更新业务数据时，手工更新时间戳字段。同触发器方式一样，时间戳方式的性能也比较好，数据抽取相对清楚简单，但对业务系统也有很大的倾入性（加入额外的时间戳字段），特别是对不支持时间戳的自动更新的数据库，还要求业务系统进行额外的更新时间戳操作。另外，无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制。
c.全表比对：典型的全表比对的方式是采用MD5校验码。ETL工具事先为要抽取的表建立一个结构类似的MD5临时表，该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时，对源表和MD5临时表进行MD5校验码的比对，从而决定源表中的数据是新增、修改还是删除，同时更新MD5校验码。MD5方式的优点是对源系统的倾入性较小（仅需要建立一个MD5临时表），但缺点也是显而易见的，与触发器和时间戳方式中的主动通知不同，MD5方式是被动的进行全表数据的比对，性能较差。当表中没有主键或唯一列且含有重复记录时，MD5方式的准确性较差。
d.日志对比：通过分析数据库自身的日志来判断变化的数据。
不过像A和B都要在原数据库中进行操作，C本人认为比全部复制还要麻烦，因为需要全部进行比对，D有些数据是没有日记功能，不过ORACLE是有，不过这样会降低性能。
[解决办法]
加一条：Oracle变化方式捕捉（CDC方式）
优点：提供了API设置CDC环境，缩短ETL时间，不需修改业务系统表结构
缺点：如果业务系统的版本不统一，比较麻烦，实现起来也比较复杂
