首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 服务器 > 云计算 >

hadoop报错导致flume无法写入日志文件,hadoop报错如上xceiverCount 258 exceeds the limit of concurre

2013-01-26 
hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent

hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256
hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256


问题描述:报错具体如下

2013-01-21 00:00:07,547 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiving block blk_-73922497349805710_31215 src: /127.0.0.1:42879 dest: /127.0.0.1:50010
2013-01-21 00:00:07,721 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(127.0.0.1:50010, storageID=DS-120876865-10.4.124.236-50010-1354772633249, infoPort=50075, ipcPort=50020):DataXceiver
java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:92)
        at java.lang.Thread.run(Thread.java:722)
     
         
原因分析
由于问题 出现的时间点在0点左右,因此由于flume按天归档日志文件,此时需要大量xcievers导致,先按照网上的方案修改配置再观察吧,具体方案如下

vi hdfs-site.xml
<property>
        <name>dfs.datanode.max.xcievers</name>
        <value>4096</value>
</property>
 dfs.datanode.max.xcievers 对于datanode来说,就如同linux上的文件句柄的限制,当datanode 上面的连接数操作配置中的设置时,datanode就会拒绝连接。该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256,hadoop-defaults.xml中通常不设置这个参数。这个限制看来实际有些偏小,高负载下,DFSClient 在put数据的时候会报 could not read from stream 的 Exception。
 
        
参考资料:

http://blog.csdn.net/awayyao/article/details/7677393
http://blog.csdn.net/azhao_dn/article/details/7712912
http://labs.chinamobile.com/mblog/225_18094

热点排行