海量结构化数据的计算探讨
电信运营商每天需要对生产系统产生的海量数据进行分析,首先要从各远端生产系统提取数据,清洗加工等等(ETL),后续就是数据的运算处理,数据量相当大,每天都是TB级,但主要以结构化数据为主,故对于此类有钱的主必然使用oracle。
?
据我观察对于数据的处理基本上都是采用存储过程进行处理,举个简单的例子,抽取用户的3个月消费数据进行一些类似平均本地通话时长,平均本地通话费用...等等诸如此类的运算。最直接的思路就是写个存储过程,分别取这3个月的消费数据放入表A中,通过分组、求和、平均即可得出指标,然后将运算结果插入目标结果表B。
?
在此,请问各位大牛,在遇到此种场景如何进行处理的?
<!--EndFragment--> 1 楼 smll8402 2012-03-08 我们处理大数据量的时候一般是写入静态表,前台要什么数据只需要去表态表取就可以了。