如何修改火花源代码和构建

Question

我刚开始学习火花。我已经向IDEA导入了火花源代码并进行了一些小改动（只需添加一些println（））来激发源代码。我该怎么做才能看到这些更新？我应该重新编译火花吗？谢谢！

Answer 1

至少，你需要maven 3.3.3和Java 7 +。

您可以按照http://spark.apache.org/docs/latest/building-spark.html

中的步骤操作

＆＃34; make-distribution.sh＆＃34;脚本非常方便，它位于spark源代码根目录中。这个脚本将产生一个可分发的tar.gz，您可以简单地提取并启动spark-shell或spark-submit。在火花中更改源代码后，您可以使用正确的选项运行此脚本（主要传递所需的hadoop版本，yarn或hive支持选项，但如果您想在hadoop发行版上运行，或者想要连接，则需要这些选项现有的蜂巢）。

顺便说一句，插入println（）不是一个好主意，因为它会严重降低作业的性能。你应该使用记录器。