首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 数据库 > 数据库开发 >

data migration -二 构造 临时数据仓库,用于提取数据

2013-03-04 
data migration -2 构造 临时数据仓库,用于提取数据构造 临时数据仓库,用于提取数据?设想在这个阶段完成大

data migration -2 构造 临时数据仓库,用于提取数据

构造 临时数据仓库,用于提取数据

?

设想在这个阶段完成大部分的商业逻辑转换工作,使用 pentaho 工具, 帮助转换数据到临时表

环境设置:

1.临时表尽可能与新数据库表结构相同,但是当中会加几个帮助做逻辑的column 类似flag

?优点: 集中转换工作,方便开发和维护

?困难:构造临时表工作量大而且繁琐。

?解决方案:花2个钟头 利用 sqldevelpoer :desc table output format 直接解析 生成 create table 语句

?

?

2. 转换 id,旧数据id全部使用 number(20,0) 递增作为 主键, 搬到新系统将会统一 rpad(index,32,'#')

?优点: 可以直接在新数据库追踪旧数据

?困难: 新系统,有控制表 储存了id,hardcode Id 使得重复import 会产生问题。

?解决方法:在删除数据时候 抓到全部控制表 强制删除相关控制record

?

3. 转换工作

使用 pentaho etl工具,这个阶段是集中所有转换逻辑,需要人工匹配每一个旧column 和新column 数据

其实在转换的数据库阶段有4个层次的工作

1. 理解旧系统工作流程 和 新系统工作流程

2. 旧系统的模块 匹配新系统模块,如果不能直接匹配 需要拆分功能点,分开数据处理

3. 旧系统的模块里面的表 匹配新系统表

4. 表里面的column 匹配 新系统column

?

?

?

?

热点排行