Question

我一直在训练Scala，IntelliJ和Spark。我将'org.apache.spark：spark-core_2.10：1.1.1'下载到我的IntelliJ项目中，我正在尝试应用一些我在Spark上进行的培训。我试图通过使用Scala工作表（首选）或Scala控制台来测试想法，从而轻松实现自己。

代码段：

import org.apache.spark
import org.apache.spark._
val sc = new SparkContext("local[2]", "sc1")

当我尝试创建SparkContext时，出现错误：

在scala工作表中： com.typesafe.config.ConfigException $ Missing：找不到密钥'akka.version'的配置设置

在scala控制台中： java.lang.NoClassDefFoundError：无法初始化类akka.actor.ActorCell $

我对akka没有任何经验，我不想使用akka。是否需要Spark？我使用错误的scala库吗？

我读了同样错误的其他问题，但到目前为止，这些建议没有帮助。

我在build.sbt文件中添加了以下依赖项： libraryDependencies + =“org.apache.spark”%%“spark-core”％“1.4.0”

我很乐意回答进一步的问题。我不确定还要添加什么才能让这个问题更容易回答。

谢谢，

David Webb

Answer 1

我通过将SBT依赖关系更新为：

来解决此错误

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.0"

我还下载了org.apache.spark：spark-core_2.11-1.6.0.jar IntelliJ以前在搜索maven时只找到了spark-core_2.10-1.1.1.jar。

我仍然无法创建一个Spark上下文，但现在我遇到了一个不同的错误。我会搜索新的错误，看看在发布另一个问题之前我能找到什么。

David Webb

IntelliJ for Windows中的Scala SBT SparkContext错误 - 没有'akka.version'的配置设置

1 个答案: