首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

java分布式学习札记

2012-10-09 
java分布式学习笔记1.分布式JAVA应用基于TCP/IP+BIO,TCP/IP+NIO,UDP/IP +BIO,UDP/IP+NIO 实现消息方式的系

java分布式学习笔记
1.分布式JAVA应用

基于TCP/IP+BIO,TCP/IP+NIO,UDP/IP +BIO,UDP/IP+NIO 实现消息方式的系统间的通信方式

基于MINA,JETTY框架

基于远程调用 RMI(spring rmi),WebService(CXF)


2.大型分布式java应用与SOA

基于SCA实现SOA平台

基于ESB实现SOA平台

ESB核心思想是基于消息中间件来实现系统间的交互

基于Tuscany实现SOA平台--SCA

基于Mule实现SOA平台   --ESB


3.深入理解JVM

Java源码编译步骤 1.分析和输入到符号表 2.注解处理  3.语义分析和生成class文件

类加载机制 1.装载(二进制字节码加载至JVM)   2.链接(负责对二进制字节码的格式进行校验,初始化装载类中静态变量及解析类中调用的接口,类)
         3.初始化(执行类中的静态初始化代码,构造器代码及静态属性的初始化)

JDK基于栈的体系结构来执行字节码,基于栈方式是好处为代码紧凑,体积小.

编译时提供两种模式:client compiler 和 server compiler

client compiler 是轻量级,只做少量性能开销比高的优化,它占用内存较少,适用于桌面交互式应用。优化主要有:方法内联,去虚拟化,冗余削除。

server compiler 是重量级,采用了大量的传统编译优化技巧来进行优化,占用内存相对会多一些,适用于服务器的应用。


堆用于存储对象及数组值。

-XMS -XMX 设置一样的大小,防止内存大于变化。

jstat -gcutil [pid] 1000 10 minor GC时的变化情况

jconsole 可以图形查看JVM内存变化状况

JVisualVM 它类似于JPofiler 工具,基于此工具可查看内存的消耗情况,线程的执行状况及程序中消耗CPU,内存的动作。

JMap 分析JVM内存状况的工具 jmap -heap [pid] --查看JVM堆的配置信息

jmap -histo [pid] 查看JVM堆中对象详细占用情况

jHat 是java自带的一个用于分析jvm堆dump文件工具  jhat -J-Xmx1024 [file]

jStat JAVA自带的一个统计分析JVM运行状况的工具

Eclipse Memory Analyzer 分析jvm 堆dump文件的插件

TDA是开源界一个不错的用于分析线程堆栈信息的图形化工具


5。性能调优

调用步骤:衡量系统现状  设定调优目标  寻找性能瓶颈 性能调优   衡量是否达到目标  性能调优

通常性能瓶颈在表象是资源消耗过多,外部处理系统性能不足,或得资源消耗不多

资源主要消耗在CPU,文件IO,网络IO以级内存方法,机器的资源是有限的。当某些资源消耗过多时,通常会造成系统的响应速度慢。

分析CPU  上下文切换, 运行队列 ,利用率
top 或 pidstat 方式来查看进程中线程的CPU的消耗状况
us 过高时,表示运行的应用消耗了大部分的CPU,sy值高时,表示Linux 花费了更多时间在进行线程的切换。

pidstat -d -t -p [pid] 1 100 查看线程IO消耗情况
iostat查看各个设备的IO历史状况

Linux 中可采用sar 来分析网络IO 的消耗状况

vmstat 查看内存信息


JVM调优
1.避免新生代大小设置过小 -当新生代大小设置过小时,会产生两种比较明显的现象,一是minor GC次数更加频繁,二是有可能导致minor gc对象直接进入旧生代。
2.避免新生代设置过大
3.避免Survivor区过小或过大
4.合理设置新生代存活周期


程序调优
1.us过高 增加 Thread.sleep
2.sy 过高 基于kilim 采用Coroution方式支撑高并发

最耗CPU的线程26697为例,将26697换算成十六进制的值,结合java thread dump (jstack [pid] | grmp 'nid = 0x6849') 找到些线程

文件IO消耗严重解决方法
1.异步写文件  log4j AsyncAppender
2.批量写文件
3.限流
4.限文件大小

网络IO消耗严重的解决方法
1.释放不必要的引用
2.使用对象缓存池
3.采用合理的缓存失效算法
4.合理使用SoftReference 和 WearReference


销竞争激烈
1.使用并发包中的类
2.使用Treiber 算法
3.使用michael-scott非阻塞队列算法
4.尽可能少用锁
5.拆分锁
6.去除读写操作的互斥锁


6。构建高可用的系统

负载均均衡技术
选择实际业务处理机器方式 1.随机选择  2.Hash选择  3.(Round-Robin)选择   4.按权重选择  5.按负载选择  6.按连接选择
响应返回方式  1.响应通过负载均衡机器返回(NAT)   2.响应直接返回请求发起方(IP Tunneling 或  DR)
硬件负载设备  F5 各 Netscalar
软件负载  LVS
去中心实现负载均衡   Gossip(Cassandra 采用)

基于Paxos保存一致性

Fackbook Scribe 日志分析系统

书推荐 web容量规划的艺术

7.构建可伸缩的系统

分布式文件系统  HDFS GFS

DAL(数据库访问层)--- amoeba

支撑大数据量  读写分离    多master



热点排行