我即将在Ubuntu 16.04 LTS上安装Apache Spark 2.1.0。我的目标是一个独立的集群,使用Hadoop,Scala和Python(2.7是活动的)
虽然下载我得到了选择:预装Hadoop 2.7及更高版本(文件是spark-2.1.0-bin-hadoop2.7.tgz)
此软件包是否实际包含HADOOP 2.7,还是需要单独安装(首先我假设)?
我安装了Java JRE 8(其他任务需要)。由于JDK 8似乎也是先决条件,我还做了一个'sudo apt install default-jdk',它确实显示为已安装:
default-jdk / xenial,现在2:1.8-56ubuntu2 amd64 [已安装]
检查java -version但是不显示JDK:
java版“1.8.0_121” Java(TM)SE运行时环境(版本1.8.0_121-b13) Java HotSpot(TM)64位服务器VM(版本25.121-b13,混合模式)
这是否足以安装?为什么不显示JDK?
我想使用Scala 2.12.1。这个版本是否适用于Spark2.1 / Hadoop 2.7组合,还是更适合的另一个版本?
是否还需要Scala SBT包?
一直在努力让一切正常运转,但我现在陷入困境。
希望有人可以解释一下:)
答案 0 :(得分:1)
您需要为安装的任何内容安装hadoop-2.7。
Java版很好。
上述配置应与scala 2.12.1一起使用。