Apache & Tomcat集群配置
对于大型网站系统或者访问量较高的应用系统,多用户的并发访问常常会导致服务器的异常甚至不响应,一个web服务器往往无法满足所有的负载。解决这个问题的办法就是把负载分担在多个web服务器上,使系统稳定、快速的运行。均衡负载最常用的方式是集群(cluster),即把多个web服务器节点分布在一个或多个硬件服务器上,已达到分担处理请求的目的。
对于以tomcat为application server的应用,常见的集群方式是web server(apache)调用连接器(如jk2),通过负载均衡(ajp13),把访问分发到各个tomcat节点,各个节点处理完访问后,把相应的response数据发送给web server,然后由web server把访问结果返回给浏览器(用户)。
Tomcat的集群主要包括三个部分:负载均衡、session同步、webApp(web资源)同步。
负责request请求的自动分配,根据app server(tomcat)的负载来决定分配方式,常用apache的ajp13(属于tomcat的一个子项目)来处理。
即Session
Replication,是集群面临最大的一个问题。
由于http协议的无状态性,对于用户识别以及信息保留一般都通过session来处理,所以各个cluster的节点必须保障session的一致性。同时session的同步还要考虑性能的问题(socket,IO etc…),tomcat中使用tomcat cluster子项目来实现session的同步(基于TCP/IP协议)。
对于超大型网站系统,基于性能方面的考虑,需要实现primary-secondary session replication,(prsp)即实现session的分级同步,减轻session复制对于访问相应的影响。Tomcat5.5以及以前版本没有实现对于prsp的支持,但据说会在下个版本实现。
即webApp的自动分发。一次分发(deploy)/改动,各个cluster节点自动同步。
对于集群,各个cluster节点的文件资源(resource,包括程序、配置文件、页面、图片、用户上传资源文件等)必须保持一致。对于大型网站或高访问量的应用系统,这种同步必须在特别短的时间(小到可以被忽略)内、不对程序运行造成破坏的情况下进行,所以手工同步是不现实的。
Tomcat5.5以及以前的版本没有对此进行支持,需要自己来实现。
由于tomcat的web server功能和性能的局限性,采取以下方案:
1.软件的准备
a)Apache 2.0
b)Tomcat 5.5(以及jdk1.4兼容布丁)
c)mod_jk2.so
2.Apache和Tomcat的整合以及Balancer的配置
a)首先安装Apache,然后将mod_jk2.so拷贝在Apache的Module目录中
b)修改httpd.conf文件,添加以下内容:
LoadModule
jk2_module modules/mod_jk2.so
c)在Apache中的conf/httpd.conf添加指定web目录,如
Alias /myWebApp
"D:/tomcat/webapps/myWebApp/"
或者直接设定为默认访问目录”/”:
DocumentRoot
"D:/tomcat/webapps/myWebApp/"
在Apache中的conf/httpd.conf添加如下配置,已禁止访问所有/WEB-INF/目录:
<Directory
~ "/WEB-INF/">
????Order allow,deny
????Deny from all
</Directory>
d)在Apache的conf目录中建立workers2.properties文件,内容如下:
[logger.apache2]
level=DEBUG
[shm]
file={apache_home}\logs\shm.file
size=1048576
#第一个Tomcat的配置
[channel.socket:tomcat1]
#tomcat connecter端口,自己定义,保持和tomcat的server.xml中的一致既可
port=8009
#tomcat ip地址或域名
host=localhost
#?定义worker
[ajp13:tomcat1]
channel=channel.socket:tomcat1
#第二个Tomcat的配置
[channel.socket:tomcat2]
#tomcat connecter端口,自己定义,保持和tomcat的server.xml中的一致既可
port=9009
#tomcat ip地址或域名
host=localhost
#定义worker
[ajp13:tomcat2]
channel=channel.socket:tomcat2
#定义Balancer(负载均衡器)
[lb:lb1]
worker=ajp13:tomcat2
worker=ajp13:tomcat1
#Uri的映射,满足uri条件的,apache才会送给tomcat来处理,所以这里要列出所有送给tomcat$#处理的uri,以后缀名或者web路径的方式。
[uri:/*.do]
[uri:/*.jsp]
group=lb:lb1
注:{…}代表得内容需要根据具体情况来配置。
e)修改Tomcat的配置
修改第一个Tomcat的conf目录中server.xml,添加或修改以下内容:
<Connector
port="8009" enableLookups="false"
redirectPort="8443" debug="0" protocol="AJP/1.3"
/>
<!—port和worker2对应–>
修改第二个Tomcat的conf目录中的server.xml,添加或修改以下内容:
<Connector
port="9009" enableLookups="false"
redirectPort="8443" debug="0" protocol="AJP/1.3"
/>
<!—port和worker2对应–>
?
注:和apache集成的tomcat最好只保留一个connector(在server.xml中去除不使用的),否则用户可能跳过apache对tomcat直接访问,造成不可预料的异常。
修改第一个Tomcat的conf目录中jk2.properties文件,添加以下内容:
channelSocket.port=8009
#和server.xml以及worker对应
修改第二个Tomcat的conf目录中jk2.properties文件,添加以下内容:
channelSocket.port=9009
#和server.xml以及worker对应
这样Tomcat和Apache的整合就完成了,你可以直接通过Apache来访问Tomcat5了.
3.Tomcat集群的配置
a)在Tomcat的server.xml文件的Host下有类似以下内容(已经被注释掉):
<Cluster
className="org.apache.catalina.cluster.tcp.SimpleTcpCluster"
??????????managerClassName="org.apache.catalina.cluster.session.DeltaManager"
??????????expireSessionsOnShutdown="false"
??????????useDirtyFlag="true"
??????????notifyListenersOnReplication="true">
?
?????????<Membership
?????????className="org.apache.catalina.cluster.mcast.McastService"
?????????mcastAddr="228.1.2.3"
?????????mcastPort="45564"
?????????mcastFrequency="500"
?????????mcastDropTime="3000"/>
?????????<Receiver
?????????className="org.apache.catalina.cluster.tcp.ReplicationListener"
?????????tcpListenAddress="auto"
?????????tcpListenPort="4002"
?????????tcpSelectorTimeout="100"
?????????tcpThreadCount="6"/>
?
?????????<Sender
?????????className="org.apache.catalina.cluster.tcp.ReplicationTransmitter"
?????????replicationMode="pooled"
?????????ackTimeout="15000"/>
?
?????????<Valve
?????????className="org.apache.catalina.cluster.tcp.ReplicationValve"
?????????filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>
????????
?????????<Deployer?
className="org.apache.catalina.cluster.deploy.FarmWarDeployer"
?????????tempDir="/tmp/war-temp/"
?????????deployDir="/tmp/war-deploy/"
?????????watchDir="/tmp/war-listen/"
?????????watchEnabled="false"/>
</Cluster>
?
把这个<Cluster>标签反注释掉,使之生效即可。
b)在另一个Tomcat同上。
注:如果在同一台机器上运行,则tcpListenPort不能一样.
c)在需要作集群的webapp的web.xml中加上<distributable/>(具体位置在description标签之后).
这样所有的配置就结束了.配置完后,集群中的Tomcat会自动保证Session的复制.
?
注:三个及以上数量的cluster节点的配置依次类推。
参考:tomcat doc的cluster-howto以及“钝刀”的tomcat4.1的配置。
为了保障tomcat
cluster各个节点对于session的自动同步,系统中所有保存在session的object必须实现序列化接口(Serializable),而且必须保证所有session中的object的成员域可序列化(如不能有java.sql.connection之类的涉及物理资源的成员域)。
由于各个cluster节点为两个单独的程序,分别拥有独立的堆栈甚至Jvm,系统中所有程序都不能出现依赖于具体请求的static变量或方法(换句话说,就是不能在各个servlet/jsp/action中共享非final的可能发生变化的static变量),比较常见的是在singleton模式中。
集群环境下,对数据库的并发访问可能会提升,但这种并发访问和同一个tomcat的多线程并发访问并无区别,所以确切的说,这并不是集群带来的问题,在所有多线程的情况下都必须注意。
大型网站系统或访问量大的应用系统,在高并发访问的情况下,由于业务处理时间较长,可能会造成响应迟缓甚至不响应的情况发生。
Tomcat集群主要解决业务处理的负载均衡,即把业务处理的压力分担在各个节点上,现在的情况下,其实施的主要成本为:
1.??????
添置服务器,最集群节点。
2.??????
开发自动同步webapp资源的系统。
3.??????
对现有系统不符合第5条的模块的改进。
同时,在性能上,由于session共享带来的序列化/反序列化以及socket数据传送开销都比较大,在系统session更新频繁的情况下要慎重考虑是否使用集群。