Spark上的Hive执行引擎失败

Question

我正在尝试Hive on Spark执行引擎。我正在使用Hadoop2.6.0，hive 1.2.1，spark 1.6.0.Hive在mapreduce引擎中成功运行。现在我正在使用Spark引擎上的Hive.Individually all are are working在Hive中我将属性设置为

set hive.execution.engine=spark;
set spark.master=spark://INBBRDSSVM294:7077;
set spark.executor.memory=2g;             
set spark.serializer=org.apache.spark.serializer.KryoSerializer;

在hive lib中添加了spark -asembly jar。

我正在尝试这个命令，

select count(*) from sample;

我是这样的，

Starting Spark Job = b1410161-a414-41a9-a45a-cb7109028fff
Status: SENT
Failed to execute spark task, with exception 'java.lang.IllegalStateException(RPC channel is closed.)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

我错过了所需的任何其他设置，请指导我。

Answer 1

我认为问题可能是因为您使用了不兼容的版本。如果您在Hive on Spark: Getting Started上看到版本兼容性，您会发现这两个特定版本无法确保正确的工作。

我建议您更改版本并使用他们建议的兼容版本。我有同样的问题，我在更改兼容版本的版本时解决了。