如何从IDE（最好是Eclipse）构建和调试spark？

Question

我想为火花做出贡献。

我在本地克隆了git存储库。请建议如何先设置spark，然后从IDE本身运行一个hello world。

Answer 1

要在IntelliJ或Eclipse中导入/构建Spark，请遵循以下guide。

如果您有兴趣参与Spark，请访问此Wiki页面以获取更多信息：

• https://cwiki.apache.org/confluence/display/SPARK/Contributing+to+Spark

Answer 2

我假设您已经从scala-ide.org获得了最新版本的Scala IDE（此时为4.0）。

• 使用sbt eclipse导出项目，我想你已经知道了。
• 导入工作区中的所有项目（Import Existing projects）
  • 您可能会看到与＃34;交叉编译的库＆＃34;
  相关的一些错误

如果要在Scala 2.10上进行开发，则需要为用于编译Spark的Scala版本配置Scala安装。在撰写本文时，是Scala 2.10.4。

• 您可以通过指向Scala 2.10.4发行版的Eclipse Preferences -> Scala -> Installations目录在lib/中执行此操作。
• 选择所有Spark项目并右键单击，选择Scala -> Set Scala Installation并指向2.10.4安装。这应该清除有关无效的交叉编译库的所有错误。
• 干净的构建应该会成功。

您可以轻松找到有关Spark入门的示例，例如here。您可以使用right-click -> Run As Scala Application运行Spark应用。