参加IT168架构师大会总结-转自阿里兄弟
9月9号和10号在北京参加了IT168主办的架构师大会,也很荣幸做了淘宝Java中间件之路的分享,分享的PPT已经在大会的官网放出了。这次两天的会议,跟新老朋友有了不少线下的交流和沟通,感觉不错。也听了好几个Session,有些没有听的,也是当时跟几个朋友在场外交流所致。
下面总结一下自己听的几个Session
余沛-自动化运维关系管理
这里面提到了几个阶段,跟陈硕的blog里面讲的不同阶段的运维策略,理念上比较的类似。
第一个阶段 几台---几十台 手工并且是模块儿的视角。也就是看到的只是单个的部署的产品等
第二个阶段 几百台--几千台 这个阶段叫做纵向自动化,用机器的粒度看运维,不过运维还是后置服务,有一些脚本、工具等,不过可能比较多的还是在做安装、维护、救火等工作
第三个阶段 几千台--上万台 运维和开发平行,看问题是按照服务的粒度,运维变成前置服务
接着又着重介绍依赖管理的部分。包括了任务对任务的依赖,任务时间上的依赖,以及数据型的依赖等。
应该说,总体来说比较系统的讲述了运维成长的过程。我们自己的机器数也不少了,运维方面的平台、工具还不是那么的完善,希望能够在明年年中之前,能够有比较大的改观。
李瀚-百度贴吧的技术介绍
这里面记录了一些关键点
百度贴吧有上百亿的帖子,热门的帖子有上千万的回复,高峰是每秒的PV超过10万。那么在存储方面,做了不少事情。同时,对于快速开发、可用性、安全方面考虑的也很多。
在WebSever上,用了异步和集群技术,静态文件的获取,可以跑满网卡,大于单机支撑5k-1w的qps,这个取决于单个文件的大小。
采用Php开发框架,统一开发模式,在性能方面也做了优化。内部实行组件式开发,有公共库以及一些通用组件。
在存储方面,分为了两块儿,一块儿是轻量级的存储,主要采用的是Mysql以及使用了cache技术。数据量小于1T,支撑几百qps-几k qps,加入cache解决浏览的性能问题。
引入了分区,使用MQ来进行处理
另外,使用KV存储视频文件,大概在P的量级。
这个session,主要了解学习了baidu贴吧的一些相关技术架构,也了解了一下数据。
洪涛-虎扑网的架构升级之路
这哥们儿看上去非常爷们儿,讲话也比较逗。谈到了虎扑网从成立到现在的发展之路,这个是可以给到一些中小网站一些参考。在这个过程中,用到了一些开源软件,包括但不限于memcached、TT、Redis、RabbitMQ等。后面也会自建机房。这里面,他提到会用硬件负载均衡代替LVS,这个地方我不是很明白,当时也没有能抓住洪涛问下,后面有机会再请教下。
陈炜-无状态运维管理
这个家伙跟我住一个屋的,他要讲的东东在讲之前我就看了一下,应该说,他们真的构建了一个相对完善的监管控的系统,也许没有哪个部分的技术本身特别高深,但是能够运用技术,真正把那么多的机器和应用管理起来,能最终落地,我觉得还是非常不容易的。不过这厮还欠我一个东西没给我,明天上班找他要。
段炼-Defeat Plubic DNS
这里面首先讲到了使用Google DNS以及OpenDNS的问题,然后提到了如何去解决这些个问题。其中对于如何知道用户所在ISP以及使用的Local DNS,采用了不同的方式来处理。也提到了通过跳转、修改返回的HTML等方式来解决跨运营商访问的问题。在这个方面,自己之前确实没有太多经验,也没有考虑很多。不过说到底,这都是被天朝特色的ISP给搞的。sigh。
白金-从流量统计、识别出发,看网络出口带宽优化
这个演讲嘉宾的名字挺酷,他讲的东西很全面,也提到一些探测网络流量等信息的工具,不过这个部分,跟我现在关注的点不太贴合,就当扩充知识面了。
陈尔冬-新浪的私有云平台
这哥们儿真的很帅,讲的也很好,新浪的SAE和内部的私有云还是不错的,10月份他们会来杭州参加QConHangzhou,到时候再好好聊聊。
我记录了一些数据
私有云有4000+机器
每日100亿动态请求
每日200亿的数据库请求
总共运行了500个项目
马如悦-Hadoop@Baidu
一个非常实在憨厚的哥们儿,我也是记录了一些数据
目前Hadoop集群有1.5w node, 年底大概3-4w台, 明年会到达10w台
整个集群input data/per day >10PB google 1,20万机器,30PB
Hadoop一共分了10个clusters
最大的cluster 3000 nodes
1.5亿文件+1.5亿块+2000个节点:重启花费40分钟
baidu-hdfs2-arch 把namespace跟文件管理分开,上面的相当于 一个规则服务器
针对不同的需求分来处理,比如throughtput 、realtime 等;追求不同,侧重点就要不同
总体来说,IT168架构师大会,和QConBeijing以及将要举办的QConHangzhou还有Velocity China相比,我感觉整体质量稍微弱些。当然,这仅仅是从我个人的角度来说,从内心来说,希望IT168架构师大会越办越好,提供一个好的平台给技术人员交流、提高。