Hive-On-Spark-执行后运行查询时出错。引擎更改为Spark

时间:2019-02-16 02:49:50

标签: apache-spark hive hiveql

我最初编写了一些Hive查询以在Tez上运行。随着查询变得越来越复杂和更多的数据,它们正在花很长时间。因此,我现在正在尝试运行“蜂巢式蜂鸣器”以希望加快查询速度。

我跑步时 设置hive.execution.engine = spark; 我没有错误-它显示成功。

例如,每当我尝试查询时,

从XX.TEST AAB中选择* 在AAB.ATTR1 = AA.ATTR2上左加入XX.TEST2 AA

我收到以下错误: 运行查询时出错:java.lang.NoClassDefFoundError:scala / collection / Iterable

似乎还可以通过表中的简单select语句来工作,但不能用于其他任何事情?

如果我尝试在Tez上运行它,那么我根本不会收到任何错误。

我试图通过Google搜索该错误,但找不到任何解决方法。有人可以帮忙吗?

1 个答案:

答案 0 :(得分:0)