系统架构问题 现在需要处理一大批数据(上千万),要求同时处理,实时性要求高,而且各个数据之间需要进行通信,大概每秒处理一次,然后保存结果,接下来,在上一批结果的基础上再进行处理,保存,重复操作。求推荐系统架构和存储技术。 [解决办法]貌似hadoop可以处理你说的问题。[解决办法]
Quote: 引用:处理一批数据,千万级别,数据之间要通信这需求完全看不懂,把你的需求描述得详细一点千万级别数据用数据库就可以搞定,这点数据上hadoop是逗你玩数据对实时性要求很快,对存储速度要求也很高,oracle肯定是不行的,现在考虑mongodb,觉得还需要引入个缓存技术。
处理一批数据,千万级别,数据之间要通信这需求完全看不懂,把你的需求描述得详细一点千万级别数据用数据库就可以搞定,这点数据上hadoop是逗你玩