hive参数hive.地图red.mode分析

hive参数hive.mapred.mode分析

Hive配置中有个参数hive.mapred.mode，分为nonstrict，strict，默认是nonstrict

如果设置为strict，会对三种情况的语句在compile环节做过滤：

1. 笛卡尔积Join。这种情况由于没有指定reduce join key，所以只会启用一个reducer，数据量大时会造成性能瓶颈

        // If the "strict" mode is on, we have to provide partition pruner for        // each table.        if ("strict".equalsIgnoreCase(HiveConf.getVar(conf,            HiveConf.ConfVars.HIVEMAPREDMODE))) {          if (!hasColumnExpr(prunerExpr)) {            throw new SemanticException(ErrorMsg.NO_PARTITION_PREDICATE                .getMsg("for Alias \"" + alias + "\" Table \""                    + tab.getTableName() + "\""));          }        }

这三种case在数据量比较大的情况下都会造成生成低效的MR Job，影响执行时间和效率，不过直接抛出exception又感觉太forcefully了。

可以在一些非线上生产环境下的ad-hoc查询端中开启strict mode，比如hiveweb，运营工具。