Mapr分布中的Spark上的Hive

时间:2016-08-05 06:04:25

标签: hadoop apache-spark hive mapr

目前我们正在研究Hive,它默认使用map reduce作为MapR集群中的处理框架。现在我们想要从map reduce更改为spark以获得更好的性能。根据我的理解,我们需要设置hive.execution.engine = spark。

现在我的问题是Map上目前支持Spark上的Hive吗?如果是,我们需要做什么配置更改?

非常感谢您的帮助。感谢

3 个答案:

答案 0 :(得分:0)

是的,它受到支持。假设您使用的是Mapr 5.X,您可以找到有关兼容版本的here详细说明以及如何手动配置它们。

答案 1 :(得分:0)

不,MapR(5.2)不支持。来自docs

  

MapR不支持Spark上的Hive。因此,您不能将Spark用作Hive的执行引擎。但是,您可以在同一群集上运行Hive和Spark。您还可以使用Spark SQL和Drill来查询Hive表。

干杯。

答案 2 :(得分:0)

我知道并了解您的问题是关于使用Spark作为Hive的数据处理引擎;正如您在各种答案中所看到的,今天MapR尚未正式支持。

但是,如果您的目标是让Hive更快,并且不使用MapReduce,您可以切换到Tez,为此安装MEP 3.0。

请参阅:http://maprdocs.mapr.com/home/Hive/HiveandTez.html