Question

我有Eclipse Kepler，我已经安装了Maven和Scala插件。我创建了一个新的Maven项目并添加了依赖项

groupId：org.apache.spark artifactId：spark-core_2.10 版本：1.1.0

根据http://spark.apache.org/downloads.html的当前文档，一切正常，Scala 2.10的jar也被添加到项目中。然后我将“Scala Nature”添加到项目中，这会添加Scala 2.11并最终出现以下错误

在构建路径中找到多个scala库（C：/Eclipse/eclipse-jee-kepler-SR2-win32-x86_64/plugins/org.scala-lang.scala-library_2.11.2.v20140721-095018-73fb460c1c .jar，C：/Users/fff/.m2/repository/org/scala-lang/scala-library/2.10.4/scala-library-2.10.4.jar）。至少有一个版本具有不兼容的版本。请更新项目构建路径，使其仅包含兼容的scala库。

是否可以将Spark（来自Maven）和Scala IDE插件一起使用？关于如何解决这个问题的任何想法？

感谢您的帮助。此致

Answer 1

简而言之，是的，这是可能的。

Spark目前正在使用Scala 2.10，而最新的Scala IDE已经发布了＃34;为2.10和2.11。您需要选择基于2.10的版本，即3.0.3。

但是，处于候选发布模式的下一个主要版本4.0具有多版本支持。您可以创建Scala项目并选择您要使用的Scala版本（2.10或2.11）。如果您愿意，可以尝试一下。

Answer 2

如果有人在搜索同样的事情时偶然发现：

我最近创建了Maven原型，用于使用Scala 2.10.4项目引导新的Spark 1.3.0。按照这里的说明： https://github.com/spark-in-action/scala-archetype-sparkinaction

对于IntelliJ IDEA，首先从命令行生成项目，然后导入IDE。

Answer 3

您已经安装了Scala Ide插件，但只有在项目中包含scala类时，才能使用项目的Scala特性。然而，Spark和Scala是一起工作的。确保使用兼容版本。您可以在计算机上install scala，然后使用兼容的spark maven依赖项。

Answer 4

是的，你可以..使用我在下面提供的pom

man bash

Answer 5

有两种类型的Spark JAR文件（只需查看名称）：

名称包含单词＆＃34; assembly＆＃34;而不是＆＃34;核心＆＃34; （里面有Scala）
名称包含单词＆＃34; core＆＃34;而不是＆＃34;组装＆＃34; （里面没有Scala）。

你应该包括＆＃34;核心＆＃34;通过“添加外部JAR”（您需要的版本）键入您的构建路径，因为Scala IDE已经为您推送了一个Scala。

或者，您可以利用SBT并添加以下依赖项（再次注意您需要的版本）：

libraryDependencies + =＆＃34; org.apache.spark＆＃34; ％＆＃34; spark-core_2.11＆＃34; ％＆＃34; 2.1.0＆＃34;

然后你不应该在Build Path中“强制”包含任何spark JAR。

快乐的火花：

扎尔

＆GT;

带有Scala插件，Maven和Spark的Eclipse项目

5 个答案: