bash-资料数据分析案例hadoop

bash-文件数据分析案例hadoop

在学习hadoop的过程中，看到一个bash脚本使用awk分析文件数据的程序，觉得有使用意义，先单独记录下，以备以后需求和参考。

?

max_temperature.sh#!/usr/bin/env bash for year in `ls *.gz`do  echo -ne `basename $year.gz`"\t"  gunzip -c $year | \        awk '{temp = substr($0,88,5) + 0;              q = substr($0,93,1);              if(temp!=9999 && q ~ /[01459]/ && temp > max) max=temp}        END {print max}'done