Eclipse Scala IDE中针对spark项目的Maven设置

Question

我使用Eclipse for Scala IDE开发Spark应用程序。 我正在使用Maven项目，但当我尝试导入sparkcon 时：

import org.apache.spark.SparkConf 

我有错误：

  

对象apache不是包org的成员你可以帮我设置   火花依赖

Answer 1

您需要将Spark依赖项放在pom.xml文件中。截至目前，最新版本的Spark可以通过以下方式获得：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>2.2.0</version>
</dependency>

在pom.xml中的依赖项中。

Answer 2

请查看

中的教程

https://sparktutorials.github.io/2015/04/02/setting-up-a-spark-project-with-maven.html

在线教程

https://www.youtube.com/watch?v=4sO-VgqHLp4