火花maven依赖理解

Question

我试图了解Spark如何与Maven一起工作， 我有以下问题：我是否需要在我的机器中安装spark以使用maven构建spark应用程序（scala中）？ 或者我应该只将spark依赖项添加到我的maven项目的POM.xml中

祝你好运

Answer 1

简短的回答是否定的。在构建时，您的所有依赖项将由Maven或Sbt收集。无需额外安装Spark。

同样在运行时（这可能还包括在构建期间执行单元测试），您不一定需要Spark安装。如果SPARK_HOME的值未设置为有效的Spark安装，则默认值将用于Spark的runtime configuration。

但是，只要您想在远程群集上启动Spark作业（使用spark-submit），就需要安装Spark。