Apache2.2+Tomcat6配备集群、负载均衡、session复制随笔

2012-10-27

Apache2.2+Tomcat6配置集群、负载均衡、session复制随笔一直以来都在javaeye潜水，得到了很多人的经验分享，这

Apache2.2+Tomcat6配置集群、负载均衡、session复制随笔
一直以来都在javaeye潜水，得到了很多人的经验分享，这两天在学习tomcat配置集群的过程中，积累了一点东西觉得应该与大家分享。关于Tomcat和Apache的连接方式，请参阅 http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/index.html。详细的配置过程，不再重复描述,请先看看罗代均http://hi.baidu.com/luodaijun/blog/item/5bbe4cfb5ffef864034f56a1.html，我把配置过程中几个不同和关键的地方重点提出来。
软件版本有所不同，罗列如下：
Apache :apache_2.2.11-win32-x86-openssl-0.9.8i.msi 1个
Tomcat: apache-tomcat-6.0.14.zip 2个
mod_jk: mod_jk-1.2.27-httpd-2.2.10.so 1个
我准备了两台机器，192.1168.1.5 192.168.1.3，你也可以在一台机器上进行测试。
把apache和tomcat安装好以后，配置过程中有如下一些地方改动或者改进。
2.修改Apache配置文件http.conf
引入mod_jk时候，可以使用
Include conf/mod_jk.conf 可以不使用全路径引入，方便管理。
3.在http.conf同目录下新建 workers.properties文件，内容如下

#========tomcat1========worker.tomcat1.port=8009         #ajp13 端口号，在tomcat下server.xml配  置,默认8009worker.tomcat1.host=localhost  #tomcat的主机地址，如不为本机，请填写ip地址worker.tomcat1.type=ajp13worker.tomcat1.lbfactor = 1   #server的加权比重，值越高，分得的请求越多#========tomcat2========worker.tomcat2.port=9009       #ajp13 端口号，在tomcat下server.xml配置,worker.tomcat2.host=192.168.1.3 #tomcat的主机地址，如不为本机，请填写ip地址worker.tomcat2.type=ajp13worker.tomcat2.lbfactor = 1   #server的加权比重，值越高，分得的请求越多#========controller,负载均衡控制器========worker.controller.type=lbworker.controller.balanced_workers=tomcat1,tomcat2   #指定分担请求的tomcatworker.controller.sticky_session=false #worker.controller.sticky_session=1

以上要说明的是原文中worker.controller.sticky_session=1,等同于worker.controller.sticky_session=true.此处指定集群是否需要会话复制，如果设为true，则表明为会话粘性，不进行会话复制，当某用户的请求第一次分发到哪台Tomcat后，后继的请求会一直分发到此Tomcat服务器上处理；如果设为false，则表明需求会话复制。这就是说，如果你要想进行均衡负载，并在192.168.1.5和192.168.1.3两台机器的Tomcat实例上实现集群全局session复制，此处值要设置成false。
第二部分，配置集群

把server.xml中注释部分<!--   <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>-->替换如下cluster配置内容:<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"                 channelSendOptions="8">          <!--      <Manager className="org.apache.catalina.ha.session.BackupManager"expireSessionsOnShutdown="false"notifyListenersOnReplication="true"mapSendOptions="8"/> -->  <!--   -->          <Manager className="org.apache.catalina.ha.session.DeltaManager"                   expireSessionsOnShutdown="false"                   notifyListenersOnReplication="true"/>          <Channel className="org.apache.catalina.tribes.group.GroupChannel">            <Membership className="org.apache.catalina.tribes.membership.McastService"                        address="228.0.0.4"                        port="45564"                        frequency="500"                        dropTime="3000"/>            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"                      address="auto"                      port="4000"                      autoBind="100"                      selectorTimeout="5000"                      maxThreads="6"/>            <!-- timeout="60000"-->            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender" />            </Sender>            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>         <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>          </Channel>          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"                 filter=""/>          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"                    tempDir="/tmp/war-temp/"                    deployDir="/tmp/war-deploy/"                    watchDir="/tmp/war-listen/"                    watchEnabled="false"/>          <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>        </Cluster>

按罗君一文配置完后，请分别启动两个tomcat（启动一个tomcat，等它完全启动后，再启动另外一个tomcat），再启动apache。启动完成后，其中一个tomcat的控制台信息片段如下：

2009-1-28 14:47:12 org.apache.catalina.ha.session.DeltaManager start??: [color=red]Starting clustering manager at2009-1-28 14:47:12 org.apache.catalina.ha.session.DeltaManager getAllClusterSessions??: Manager [localhost#], requesting session state from org.apache.catalina.tribes.membership.MemberImpl[tcp://3645A51F0B7E4CA:4001,3645A51F0B7E4CA,4001, alive=29031,id={112 55 65 24 117 66 68 118 -122 -5 -53 2 -35 -90 -8 -95 }, payload={}, command={}, domain={}, ]. This operation will timeout if no session state has been received within 60 seconds.[/color]2009-1-28 14:47:12 org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor report??: ThroughputInterceptor Report[        Tx Msg:1 messages        Sent:0.00 MB (total)        Sent:0.00 MB (application)        Time:0.02 seconds        Tx Speed:0.03 MB/sec (total)        TxSpeed:0.03 MB/sec (application)        Error Msg:0        Rx Msg:1 messages        Rx Speed:0.00 MB/sec (since 1st msg)        Received:0.00 MB]2009-1-28 14:47:12 org.apache.catalina.ha.session.DeltaManager waitForSendAllSessions??: Manager [localhost#]; session state send at 09-1-28 ??2:47 received in 265 ms.2009-1-28 14:47:12 org.apache.catalina.ha.session.JvmRouteBinderValve start??: JvmRouteBinderValve started2009-1-28 14:47:12 org.apache.coyote.http11.Http11Protocol start??: Starting Coyote HTTP/1.1 on http-80002009-1-28 14:47:12 org.apache.jk.common.ChannelSocket init??: JK: ajp13 listening on /0.0.0.0:80092009-1-28 14:47:12 org.apache.jk.server.JkMain start??: Jk running ID=0 time=0/31  config=null2009-1-28 14:47:12 org.apache.catalina.startup.Catalina start??: Server startup in 2818 ms

红色部分显示了当前配置使用的className="org.apache.catalina.ha.session.DeltaManager"是一个全局session复制使用的控制器，把session在集群的所有tomcat进行复制。而在大型系统中使用全局session复制是不合适的，应该使用className="org.apache.catalina.ha.session.BackupManager"实现tomcat配对session复制，如tomcat1和tomcat2配对时，在workers.properties中配置实现tomcat2作为tomcat1的后备，当tomcat1当掉时候tomcat2接受发给tomcat1的请求和session内容。详情请参考tomcat的官方workers.properties configuration说明。
测试负载均衡与session复制时候，可以在界面上和tomcat后台看到。

其中一个tomcat后台打印片段，另外一个没有拷贝下来，省略。

2009-1-28 14:47:12 org.apache.catalina.ha.session.JvmRouteBinderValve start??: JvmRouteBinderValve started2009-1-28 14:47:12 org.apache.coyote.http11.Http11Protocol start??: Starting Coyote HTTP/1.1 on http-80002009-1-28 14:47:12 org.apache.jk.common.ChannelSocket init??: JK: ajp13 listening on /0.0.0.0:80092009-1-28 14:47:12 org.apache.jk.server.JkMain start??: Jk running ID=0 time=0/31  config=null2009-1-28 14:47:12 org.apache.catalina.startup.Catalina start??: Server startup in 2818 ms55 = 55gg = gg44 = 4455 = 55gg = gg11 = 1177 = 77

1 楼 spiritfrog 2009-02-01   有一点不明：
既然是tomcat2作tomcat1的备份，在tomcat1当机的时候将请求以及session传到tomcat2，这种方式又怎能叫做集群呢？ 2 楼 whaosoft 2009-02-01   这是集群吗感觉就象是和raid一样的效果是的都是备份东西 3 楼 spiritfrog 2009-02-01   我按照罗代均http://hi.baidu.com/luodaijun/blog/item/5bbe4cfb5ffef864034f56a1.html
的说明，在本地的两台tomcat5.5上实现了集群和session复制。
但一开始是用的一个tomcat6和一个tomcat5.5，是无法实现集群的，按照错误来看，估计是McastService的实现不同，有不兼容。 4 楼 lxiaodao 2009-02-18   关键是看你的应用规模需要实现什么样的集群,有没有必要集群.
分担访问压力和灾难出现时候,怎么处理,不同的情况下肯定有不同的考虑.
(1)不考虑灾难,比如就使用两台机器Tomcat1和Tomcat2作为负载,分担处理发送来的请求.
(2)侧重考虑灾难情况,omcat2作tomcat1的后备,在tomcat1当机的时候将请求以及session传到tomcat2,这样做到了提供完整服务.
大的集群,我觉得有这样的方案
tomcat1->tomcat2(后备)
tomcat3->tomcat4(后备)
spiritfrog兄说的(2)方式是不是集群这个不重要,重要的是在实际情况下会选用什么样的方式.
如果使用缓存替换掉session,那么就根本不考虑把session在各个点复制来复制去,而是通过缓存来统一.
我在集群方面的知识也在学习摸索中,欢迎大家交流. 5 楼 lxiaodao 2009-02-18   第一点说得不准确,调整一下.
(1)不考虑session复制,比如就使用两台机器Tomcat1和Tomcat2作为负载,分担处理发送来的请求.
session复制在多个机器间执行肯定会对效率有一定影响. 6 楼 vissul 2009-03-29   那配置apache的那台服务器要是挂了该怎么处理呢？ 7 楼 javacool_zhou 2009-07-23   小弟也在学习中。。。。 8 楼 yzhw 2011-02-24   这个好象不是apache2.2，2.2里包括了mj

热点排行