首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 服务器 > 云计算 >

Hive中查看数据起源文件和具体位置方法

2013-09-10 
Hive中查看数据来源文件和具体位置方法通常用户在HIVE中用SELECT语句出来结果,无法确定结果是来自哪个文件

Hive中查看数据来源文件和具体位置方法
通常用户在HIVE中用SELECT语句出来结果,无法确定结果是来自哪个文件或者具体位置信息,HIVE中考虑到了这点,在Virtual Column虚列中可以指定三个静态列:1.  INPUT__FILE__NAME        map任务读入File的全路径
2.  BLOCK__OFFSET__INSIDE__FILE       如果是RCFile或者是SequenceFile块压缩格式文件则显示Block file Offset,也就是当前快在文件的第一个字偏移量,如果是TextFile,显示当前行的第一个字节在文件中的偏移量3.  ROW__OFFSET__INSIDE__BLOCK        RCFile和SequenceFile显示row number, textfile显示为0
注:若要显示ROW__OFFSET__INSIDE__BLOCK ,必须设置set hive.exec.rowoffset=true;
测试:
1. table:      test_virtual_columns
InputFormat:        org.apache.hadoop.mapred.TextInputFormat
query:     select a, INPUT__FILE__NAME,BLOCK__OFFSET__INSIDE__FILE,ROW__OFFSET__INSIDE__BLOCK from test_virtual_columns;result:

10.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       010.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       110.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       210.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       310.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       410.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       510.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       610.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       710.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       810.1.2.162      hdfs://10.2.6.102/share/data/log/nginx_rcfile/2013-09-01/000000_0       537155468       9

如果碰到有脏数据或者结果异常的时候,可以通过select这三个值来定位出错的原始文件和具体所在位置,很方便。

本文链接http://blog.csdn.net/lalaguozhe/article/details/11467593,转载请注明

热点排行