Hadoop 2.x(YARN)装配配置LZO

2013-10-08

Hadoop 2.x(YARN)安装配置LZO今天尝试在Hadoop 2.x(YARN)上安装和配置LZO，遇到了很多坑，网上的资料都是基

Hadoop 2.x(YARN)安装配置LZO

今天尝试在Hadoop 2.x(YARN)上安装和配置LZO，遇到了很多坑，网上的资料都是基于Hadoop 1.x的，基本没有对于Hadoop 2.x上应用LZO，我在这边记录整个安装配置过程

1. 安装LZO

下载lzo 2.06版本，编译64位版本，同步到集群中

<property><name>mapred.compress.map.output</name><value>true</value></property><property><name>mapred.map.output.compression.codec</name><value>com.hadoop.compression.lzo.LzoCodec</value></property><property><name>mapred.child.env</name><value>LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib</value></property>

其中mapred-site中设置mapred.child.env的?LD_LIBRARY_PATH很重要，因为hadoop-lzo通过JNI调用(java.library.path)?libgplcompression.so，然后libgplcompression.so?再通过dlopen这个系统调用（其实是查找系统环境变量LD_LIBRARY_PATH?）来加载liblzo2.so?。container在启动的时候，需要设置LD_LIBRARY_PATH?环境变量，来让LzoCodec加载?native-lzo library，如果不设置的话，会在container的syslog中报下面的错误??

4. 测试mapreduce读lzohive新建一张表lzo_test

hadoop jar /usr/local/hadoop/hadoop-2.1.0-beta/share/hadoop/common/hadoop-lzo-0.4.18-SNAPSHOT.jar com.hadoop.compression.lzo.DistributedLzoIndexer /user/hive/warehouse/lzo_test/hadoop jar /usr/local/hadoop/hadoop-2.1.0-beta/share/hadoop/common/hadoop-lzo-0.4.18-SNAPSHOT.jar com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/lzo_test/

本文链接http://blog.csdn.net/lalaguozhe/article/details/10912527，转载请注明

热点排行

云计算

Hadoop 2.x(YARN)装配配置LZO