Spark 2.0 installation error in ambari version 2.2.1.1

时间:2016-07-11 20:45:36

标签: apache-spark hortonworks-data-platform ambari

I am trying to install spark 2.0 through ambari (Version 2.2.1.1) using resource definition from

https://github.com/jerryshao/spark2-ambari-definition

While installing spark 2 thrift server got the following error. Can you please help.

 Traceback (most recent call last):
File "/var/lib/ambari-agent/cache/common-  services/SPARK2/2.0.0/package/scripts/spark_thrift_server.py", line 26, in <module>
 from resource_management.libraries.functions import stack_select
ImportError: cannot import name stack_select

1 个答案:

答案 0 :(得分:0)

您链接的服务定义是针对使用Ambari 2.4.x而不是2.2.x的HDP 2.5。这一点很明显,因为他们使用的是stack_select而不是hdp_select。该功能在Ambari 2.4.x中重命名,并且在以前的版本中命名为hdp_select,因此打破了兼容性。

HDP 2.5随附Spark 2.0.0的技术预览版,因此无需您链接的服务定义。已经在HDP 2.5堆栈中提供了一个。

IBM开放平台(IOP)4。3(2017年某个时候发布)将为Spark 2.1.0提供支持。您现在可以开始使用IOP 4.3堆栈的technical preview