pig 安装部署及地图reduce模式上测试
pig 安装部署及mapreduce模式下测试pig安装配置 1.下载pig包：(pig-0.9.1) apache版本：http://pig.apache.o
pig 安装部署及mapreduce模式下测试
pig安装配置
1.下载pig包：(pig-0.9.1)
apache版本：
http://pig.apache.org/
2.解压文件：
# tar -zxvf pig-0.9.1.tar.gz
3.配置/etc/profit
- export PIG_INSTALL=/usr/pig/pig-0.9.1
- export PATH=$PATH:$PIG_INSTALL/bin
- export PIG_HADOOP_VERSION=20 //支持hadoop版本，我的是hadoop-0.20.2
- source /etc/profile 使配置文件生效
4.pig的本地模式这里就不多讲，主要讲hadoop模式下的一些配置
两种方式配置，主要是指明namenode和jobtracker的位置：
方式 一：写profile文件 export PIG_CLASSPATH=$HADOOP_INSTALL/conf/
方式 二：在pig目录下的conf文件夹pig.properties 中增加
- fs.default.name=hdfs://hadoop149:9000/
- mapred.job.tracker=hadoop149:9004
5.启动pig
[root@localhost conf]# pig 2011-12-06 17:57:48,357 [main] INFO org.apache.pig.Main - Logging error messages to: /usr/pig/pig-0.9.1/conf/pig_1323165468355.log 2011-12-06 17:57:48,528 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://hadoop149:9000/ 2011-12-06 17:57:48,634 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: hadoop149:9004 grunt> 出现如上信息，说明pig启动成功
6 测试pig在MapReduce 模式下作业的执行
步骤一：上传passwd到hdfs文件系统 假如路径如下 /passwd
步骤二：在grunt编译器命令行依次执行如下命令
A = load '/passwd' using PigStorage(':');
B = foreach A generate $0 as id;
dump B;
在屏幕可以直接查看命令执行结果
