在OSX上安装Local spark

Question

我正在尝试在我的本地计算机上运行我的Scala作业（​​MacBook pro osx10.13.3）并且我在运行时遇到错误。

我的版本：

• scala：2.11.12
• spark：2.3.0
• hadoop：3.0.0

我通过brew安装了所有内容。

例外是：

Caused by: java.lang.StringIndexOutOfBoundsException: begin 0, end 3, length 2

发生在那条线上：

val conf = new SparkConf()
  .setAppName(getName)
  .setMaster("local[2]")
val context = new SparkContext(conf)

最后一行是抛出异常的地方。

我的理论是，Hadoop和spark版本不能合作，但我无法在线查找Hadoop应该spark 2.3.0的{​​{1}}版本。

谢谢。

Answer 1

所以我弄明白了我的问题。

首先，是的，我不需要安装Hadoop。感谢您指出了这一点。 第二，我安装了java10而不是java8。删除它解决了其余的问题。

谢谢大家！