如何在Linux终端中运行Spark Scala程序？

Question

我在scala中编写了一个spark程序。现在我想在终端中运行我编写的脚本。在pyspark中，我将spark-submit用于python文件。现在我想为我的scala程序做同样的事情。我不想使用Intellij或在spark-shell中编写程序。我只想在编辑器中编写代码，然后在终端中使用命令来运行它。那可能吗？ 预先谢谢你

Answer 1

为您的代码（JAR名称为HelloWorld.jar）说说创建JAR文件。您可以使用HDFS或本地路径，例如以下示例。

您可以在下面的命令中添加很多选项，这些命令可以在philantrovert的注释中找到。

以本地模式运行。

spark-submit --class path.to.YourMainClass  --master local[*] /path/to/your/jar/HelloWorld.jar

以群集模式运行。

spark-submit --deploy-mode cluster --class path.to.YourMainClass  --master yarn hdfs://nameservice1/hdfsPath/to/your/jar/HelloWorld.jar