首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

#二 spring batch 使用场景

2012-08-24 
#2 spring batch 使用场景spring batch 给出了如下几个使用场景商用场景 Commit batch process periodical

#2 spring batch 使用场景
spring batch 给出了如下几个使用场景

商用场景
Commit batch process periodically Concurrent batch processing: parallel processing of a job Staged, enterprise message-driven processing Massively parallel batch processing Manual or scheduled restart after failure Sequential processing of dependent steps (with extensions to workflow-driven batches) Partial processing: skip records (e.g. on rollback) Whole-batch transaction: for cases with a small batch size or existing stored procedures/scripts


我自己的想法来看的话,我觉得spring batch只是存在与一般的java程序与hadoop的模糊界限地带。spring batch所能做的,hadoop都能做。但是spring batch写了一个java batch job framework,它的作用就是帮你管理好你的job,各种监控,流程控制,重启等,也可以说是一个标准,免得你自己写一个frameword的时候,漏掉很多细节。

不过你要把spring batch的工作都放到hadoop里面做,可能hadoop有点大柴小用了,此外,还有以下几点考量

1. 学习梯度
学习梯度很重要,hadoop上手挺不容易的,写好一个M/R也不是那么简单的,如果你简单的new File()都可能让你的hadoop挂掉。spring batch 有与 spring 结合的很好,学习梯度小,例子也很多。spring batch 最好的还是job管理,这点的话hadoop有些东西还是得配置。此外你spring batch 配置Master/Slaver也比hadoop快捷的多。

2. 成本需求
成本除了机器成本之外,人力成本也是很重要的。与其搞一个team来弄hadoop,不如让程序员自己看看spring batch

3. 快速部署
spring batch最棒就是他的job管理,step的灵活配置,与spring的无缝结合,hadoop还要自己写一些处理逻辑


总结:
spring batch 对于处理批量任务还是挺棒的,hadoop更加有利于数据挖掘之类。spring batch适合规模不算太大的数据处理,hadoop那肯定是上规模的计算与处理了。spring batch应该是job的偏管理这块,而hadoop应该是偏计算这快。

以后发展方向可能要经常与spring batch,hadoop,data mining打交道了。

热点排行