我正在Hive查询中尝试使用Spark引擎。
这是一个旧查询,我不想将整个代码转换为Spark作业。
但是当我运行查询时,它给出了以下错误:
状态:失败
失败:执行错误,从org.apache.hadoop.hive.ql.exec.spark.SparkTask返回代码3
我唯一改变的是执行引擎:
设置hive.execution.engine = spark;
以上更改适用于其他类似查询。所以我认为这不是配置问题...
还是我不知道是不是?
以前有人遇到过这个问题吗?
答案 0 :(得分:1)
检查作业日志以查看真正的错误。返回代码1、2和3都是MR和Spark中的通用错误。
答案 1 :(得分:0)
使用beeline的详细模式运行查询。 检查查询exeption日志,hiveserver日志,spark日志和spark webui worker日志(通常具有确切的堆栈跟踪)。 尝试在本地模式下运行spark。
您使用什么版本的蜂巢,spark,hadoop?