Apache Spark:先决条件问题

时间:2017-03-29 16:27:17

标签: java python scala ubuntu hadoop

我即将在Ubuntu 16.04 LTS上安装Apache Spark 2.1.0。我的目标是一个独立的集群,使用Hadoop,Scala和Python(2.7是活动的)

虽然下载我得到了选择:预装Hadoop 2.7及更高版本(文件是spark-2.1.0-bin-hadoop2.7.tgz)

  • 此软件包是否实际包含HADOOP 2.7,还是需要单独安装(首先我假设)?

  • 我安装了Java JRE 8(其他任务需要)。由于JDK 8似乎也是先决条件,我还做了一个'sudo apt install default-jdk',它确实显示为已安装:

default-jdk / xenial,现在2:1.8-56ubuntu2 amd64 [已安装]

检查java -version但是不显示JDK:

java版“1.8.0_121” Java(TM)SE运行时环境(版本1.8.0_121-b13) Java HotSpot(TM)64位服务器VM(版本25.121-b13,混合模式)

这是否足以安装?为什么不显示JDK?

  • 我想使用Scala 2.12.1。这个版本是否适用于Spark2.1 / Hadoop 2.7组合,还是更适合的另一个版本?

  • 是否还需要Scala SBT包?

一直在努力让一切正常运转,但我现在陷入困境。

希望有人可以解释一下:)

1 个答案:

答案 0 :(得分:1)

您需要为安装的任何内容安装hadoop-2.7。

Java版很好。

上述配置应与scala 2.12.1一起使用。