将Hive引擎从Mr设置为Spark后,“ FAILED:执行错误,返回代码3”

时间:2018-09-12 15:04:33

标签: apache-spark hive hiveql

我正在Hive查询中尝试使用Spark引擎。
这是一个旧查询,我不想将整个代码转换为Spark作业。

但是当我运行查询时,它给出了以下错误:

  

状态:失败
  失败:执行错误,从org.apache.hadoop.hive.ql.exec.spark.SparkTask返回代码3

我唯一改变的是执行引擎:

设置hive.execution.engine = spark;

以上更改适用于其他类似查询。所以我认为这不是配置问题...
还是我不知道是不是?

以前有人遇到过这个问题吗?

2 个答案:

答案 0 :(得分:1)

检查作业日志以查看真正的错误。返回代码1、2和3都是MR和Spark中的通用错误。

答案 1 :(得分:0)

使用beeline的详细模式运行查询。 检查查询exeption日志,hiveserver日志,spark日志和spark webui worker日志(通常具有确切的堆栈跟踪)。 尝试在本地模式下运行spark。

您使用什么版本的蜂巢,spark,hadoop?