目前我们正在研究Hive,它默认使用map reduce作为MapR集群中的处理框架。现在我们想要从map reduce更改为spark以获得更好的性能。根据我的理解,我们需要设置hive.execution.engine = spark。
现在我的问题是Map上目前支持Spark上的Hive吗?如果是,我们需要做什么配置更改?
非常感谢您的帮助。感谢
答案 0 :(得分:0)
是的,它受到支持。假设您使用的是Mapr 5.X,您可以找到有关兼容版本的here详细说明以及如何手动配置它们。
答案 1 :(得分:0)
不,MapR(5.2)不支持。来自docs,
MapR不支持Spark上的Hive。因此,您不能将Spark用作Hive的执行引擎。但是,您可以在同一群集上运行Hive和Spark。您还可以使用Spark SQL和Drill来查询Hive表。
干杯。
答案 2 :(得分:0)
我知道并了解您的问题是关于使用Spark作为Hive的数据处理引擎;正如您在各种答案中所看到的,今天MapR尚未正式支持。
但是,如果您的目标是让Hive更快,并且不使用MapReduce,您可以切换到Tez,为此安装MEP 3.0。