Question

我正在尝试使用spark Submit运行我的spark scala代码。为此，我想访问Spark集群。那么，我应该在Spark上下文中对主服务器使用什么？我曾经这样

val spark = SparkSession.builder()
      .master("spark://prod5:7077")
      .appName("MyApp")
      .getOrCreate;

但是它似乎不起作用。我该如何使用Spark群集作为主设备？

Answer 1

如果您要在IDE中提交作业，只需确保“ prod5”是主文件，然后尝试将端口默认更改为6066。

Answer 2

摘自官方文档-

spark-submit --class <main-class>  --master <master-url> --deploy-mode <deploy-mode>  --conf <key>=<value> ... # other options <application-jar>  [application-arguments]

在Spark Submit中访问Spark集群模式

2 个答案: