基于storm发动机的虫洞系统

基于storm引擎的虫洞系统

虫洞系统是吸星大法项目衍生出来实时计算的基础平台。

它以storm实时流处理引擎为基础，提供了计算力、数据源整合、数据交换、监控几大功能模块。任务的权限控制正在筹划中。

?

这几个功能模块是此实时计算平台提供稳定运行的基础，虫洞系统承载的业务包括：月光宝盒、一淘首页个性化（实时用户个性化指标的计算）、吸星大法实时日志接入（数据源整合）。??

• 计算能力
  基于storm的流式处理任务可以直接运行在虫洞系统上，避免了搭建、维护集群的成本，极大的节约了业务的成本、提高了开发的效率和系统的稳定性?
  • 数据源整合
    目前虫洞系统整合了多个实时数据源，这些数据源组合起来，可以实现完整的业务分析。 吸星大法实时数据接入将数据源接入、归一化，为使用方提供格式一致的数据，简化了日志使用的成本和难度。目前接入的主要数据源有：??????????? – 全网Aplus日志??????????? – 订单??????????? – 支付宝交易??????????? – 站外B2C??????????? – 实时购物车、收藏夹等
    • ? 数据交换
      基础日志经过归一化之后，根据业务场景需求，可以有两种方式来使用：???????????????????? 1) Hbase， 如果需要回溯历史数据，可以使用Hbase接口来访问???????????????????? 2）虫洞（动态端口）， 高效、便捷的数据交换形式，支持日志的横向和纵向任意裁剪，支持客户端的动态负载均衡；高容错性等很多特性???????????? 上述两种方式都提供了客户端sdk供使用?
      • 监控系统
        监控系统是虫洞系统稳定运行的基础。它有两个主要功能： 1） storm task级状态的汇总 2）异常状态的报警，目前支持短信、旺旺报警storm task级监控室为storm量身定做的监控系统，使得集群中不同机器间的状态统一监控，监控指标丰富、并且可自定义，是任务开发、调试、运维的利器。转自淘宝

查看更多 下一篇