首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

Hadoop的本土库(Native Libraries)介绍

2013-09-06 
Hadoop的本地库(Native Libraries)介绍?Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用jav

Hadoop的本地库(Native Libraries)介绍

?

Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。

?

目前在Hadoop中,本地库应用在文件的压缩上面:

?

<!--[if !supportLists]-->·???? <!--[endif]-->zlib

?

<!--[if !supportLists]-->·???? <!--[endif]-->gzip

?

在使用这两种压缩方式的时候,Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库。

?

如果加载成功,输出为:

?

DEBUG util.NativeCodeLoader – Trying to load the custom-built native-hadoop library…
INFO util.NativeCodeLoader – Loaded the native-hadoop library

?

如果加载失败,输出为:

?

INFO util.NativeCodeLoader – Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

?

在Hadoop的配置文件core-site.xml中可以设置是否使用本地库:

?

<property>
? <name>hadoop.native.lib</name>
? <value>true</value>
? <description>Should native hadoop libraries, if present, be used.</description>
</property>

?

Hadoop默认的配置为启用本地库。

?

另外,可以在环境变量中设置使用本地库的位置:

?

export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

?

有的时候也会发现Hadoop自带的本地库无法使用,这种情况下就需要自己去编译本地库了。在$HADOOP_HOME目录下,使用如下命令即可:

?

ant compile-native

?

编译完成后,可以在$HADOOP_HOME/build/native目录下找到相应的文件,然后指定文件的路径或者移动编译好的文件到默认目录下即可。

热点排行