如何在IntelliJ IDE中将Spark与Scala项目集成？

Question

我正在使用IntelliJ IDE来使用Scala和Spark。在这个IDE中，我使用Scala对象创建了一个Scala项目（参见图片）。

我使用了此web site中的示例回归代码。

我还从GitHub下载了Spark Framework作为非Maven用户（正如here所述）。

我的问题是如何将此Spark框架与我的Scala项目相关联？我还需要集成一些额外的库才能使用Spark MLLib吗？

Answer 1

我建议在build.sbt

中创建具有以下依赖关系的simple sbt project

libraryDependencies ++= Seq(   
  "org.apache.spark" %% "spark-core" % "1.5.1",
  "org.apache.spark" %% "spark-sql" % "1.5.1" )

然后通过菜单打开它开始从sbt。

导入项目

当IDEA完成导入\ download \ indexing库时，您只需ctrl-shift-D并且可以使用 - 您可以使用带有语法的spark控制台，完美突出显示多行编辑和完成。

然后，如果目录/src/main/scala不存在，您可以创建它。或者您可以让IDEA在选项中为您创建它：

接下来你应该在scala目录中创建新对象，选择“new scala class - object”：

接下来在对象的main方法中编写一些代码，并通过ctrl-shift-F10或上下文命令

运行它

享受你的结果