Question

当我执行sql脚本时。我遇到了倾斜数据问题，所以我尝试设置hive.groupby.shewindata参数来优化它，如下所示

设置hive.groupby.shewindata = true;
我的hql脚本在这里...

Hive版本：V2.0.0

Hadoop版本：V2.4.0

当我尝试时，我收到以下错误：

SLF4J：类路径包含多个SLF4J绑定。   SLF4J：在[jar：file：/home/www/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar！/org/slf4j/impl/StaticLoggerBinder.class]中找到绑定   SLF4J：在[jar：file：/home/www/spark-sql-hzsearch/lib/spark-assembly-1.5.1-hadoop2.6.0.jar！/org/slf4j/impl/StaticLoggerBinder.class]中找到绑定   SLF4J：有关解释，请参阅http://www.slf4j.org/codes.html#multiple_bindings。   SLF4J：实际绑定的类型为[org.slf4j.impl.Log4jLoggerFactory]   SLF4J：类路径包含多个SLF4J绑定。   SLF4J：在[jar：file：/home/www/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar！/org/slf4j/impl/StaticLoggerBinder.class]中找到绑定   SLF4J：在[jar：file：/home/www/spark-sql-hzsearch/lib/spark-assembly-1.5.1-hadoop2.6.0.jar！/org/slf4j/impl/StaticLoggerBinder.class]中找到绑定   SLF4J：有关解释，请参阅http://www.slf4j.org/codes.html#multiple_bindings。   SLF4J：实际绑定的类型为[org.slf4j.impl.Log4jLoggerFactory]   2016-12-28 21：07：10,902 WARN [main] conf.HiveConf（HiveConf.java:initialize(2753）） - 名称hive.files.umask.value的HiveConf不存在

使用配置初始化日志记录       罐子：文件：/home/www/hive/lib/hive-common-1.2.0.jar /hive-log4j.properties       好        所用时间：0.502秒查询返回非零代码：1，原因：hive配置hive.groupby.shewindata不存在。

为什么会出现这个错误？

Answer 1

正确的句子是：

set hive.groupby.skewindata= true;

https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties

名称为hive.files.umask.value的HiveConf不存在

1 个答案: