失败:执行错误,在访问Hive视图时从org.apache.hadoop.hive.ql.exec.mr.MapRedTask异常返回代码2

时间:2018-08-03 03:31:48

标签: sql apache-spark hadoop hive views

我正在尝试访问Hive中的视图,并出现以下异常:

Getting log thread is interrupted, since query is done!
Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)
java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
    at org.apache.hive.jdbc.HiveStatement.waitForOperationToComplete(HiveStatement.java:349)
    at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:251)
    at org.apache.hive.beeline.Commands.executeInternal(Commands.java:988)
    at org.apache.hive.beeline.Commands.execute(Commands.java:1160)
    at org.apache.hive.beeline.Commands.sql(Commands.java:1074)
    at org.apache.hive.beeline.BeeLine.dispatch(BeeLine.java:1145)
    at org.apache.hive.beeline.BeeLine.execute(BeeLine.java:976)
    at org.apache.hive.beeline.BeeLine.begin(BeeLine.java:886)
    at org.apache.hive.beeline.BeeLine.mainWithInputRedirection(BeeLine.java:502)
    at org.apache.hive.beeline.BeeLine.main(BeeLine.java:485)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

这是我的配置单元查询:

select * from sample_view;

我已将 SPARK_HOME / jars 路径添加到 $ HIVE_HOME / bin / hive ,例如:

for f in ${SPARK_HOME}/jars/*.jar; do
     CLASSPATH=${CLASSPATH}:$f;
done

我曾尝试hive.execution.engine担任先生火花,但没有运气。

请帮帮我。

TIA

1 个答案:

答案 0 :(得分:0)

当我看到这是由于一些原因时,这可能是一个红色鲱鱼错误,将多个批处理汇总在一起。在没有看到表ddl或执行程序日志的情况下,这是我能提供的最佳答案。

(1)Java错误,导航到该作业实例的yarn日志并读取执行程序日志。如果由于相对罕见的错误而失败了,您可以在这里找到它。祝你好运,这可能会很痛苦。

(2)后台服务器异常,重新启动hadoop和hive元素并重新运行命令。

(3)尝试在另一个进程中调用基础数据。这将查找数据是否与ddl不匹配或已损坏。

(4)修复表并使表失效

msck repair table <table-name>
invalidate metadata <table-name>

祝你好运。