这个情况正常吗？该如何做？
小弟我现在在负责数据整合的工作，但是不涉及具体技术，主要是负责N家单位和公司之前的衔接协调工作，另外整合新业务数据之前进行数据结构和业务特点的分析，然后交给公司，由公司来完成数据抽取整合进库。
目前数据类型有150种，数据量8T约25亿条，每个月的增加量约1亿条。
这150种数据有些是直接读取数据库（源开放的视图），这个好办，据公司人员介绍写个存储过程就入库了。
可是，还有几十种数据是数据源单位手动从他们库导出的 csv文件，通过FTP给我们的，然后我们(公司的人和我都要做)再用OraLoader将FTP下载的文件手动导入库。
手动导入很无聊，而且有时不小心还漏导入数据。
有几个数据，今年还发生了几次结构的变化，把我和公司搞崩溃了。
我问公司的人，他们好像没有一个数据抽取、清洗、转换、导入几个环节的支撑平台，这样的话，这个数据整合工作灵活性就不够，很难适应以后的变化要求。
现在小弟我想问大家，这种数据量的整合抽取，有什么好的解决方案？我该如何完善这一块的工作，或要求公司做哪方面的改进工作？
如果有现成的方案，欢迎赐给小弟。
如果有好的建议，也可以。
谢谢。
[解决办法]
使用DataStage是一种好的选择
[解决办法]
1.和上传文件的人做一些约定：比如在FTP服务器上保存的目录结构或文件名(一天一个目录或文件，命名中加上日期)
2.自己写脚本实现从FTP服务器将文件入库的操作，定时启动扫描需要加载日期的文件，到了就入库
3.做好元数据管理和任务监控。
