在现有的Hortonworks HDP群集中安装Spark 1.5

Question

我是Hadoop的新手，想要找到如何在现有Hadoop集群上安装Spark 1.5.1的方法。 4个节点，Ubuntu 14.04。 Hadoop 2.3.2。 Ambari版本2.1.2.1。跟随tutorial，但是Ubuntu 12有spark版本，我无法在我们的系统上安装它。所以在第1步之后，我坚持了下来。 sudo apt-get install spark_2_3_2_1_12-master -y 出了错误：

  

阅读包裹清单......完成
  建立依赖树
  阅读国家信息......完成
  E：无法找到包spark_2_3_2_1_12-master

任何人都可以提供一些guidline，如何安装1.5？ 目前我们已安装，启动和运行Spark 1.4，但由于功能需求需要1.5！

Answer 1

Ubuntu 14.04 Trusty Tahr未得到HDP的正式支持。如果您查看可用于堆栈更新的存储库HDP stack public repos，它们只能用于Centos，Red Hat和Oracle Linux。您是否尝试使用Spark的简单构建工具来针对您的Hadoop安装构建spark-1.5源代码？您需要设置SPARK_HADOOP_HOME =您的hadoop位置。请参阅step by step with Ubuntu 14.04 and an earlier version of Spark。我不明白为什么Spark 1.5会失败相同的步骤。