Question

我在Scala中编写一个Spark作业，需要通过命令行以JSON文件格式发送一些参数，比如应用程序名称，master和一些其他变量。

./bin/spark-submit --name "My app" --master local[4] --conf spark.eventLog.enabled=false --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar

我需要在一个JSON文件中发送app name，master和所有参数，如：

$SPARK_HOME/bin/spark-submit --properties-file  property.conf

这可能吗？怎么样？有人可以用一个简单的例子来解释吗？

Answer 1

您可以使用--jars选项，如下所示：

$SPARK_HOME/bin/spark-submit --jars property.conf --class your.Class your.jar

spark-submit的帮助页面会让你更加愤怒：

$SPARK_HOME/bin/spark-submit --help

  --jars JARS Comma-separated list of local jars to include on the driver
              and executor classpaths.

尽管名称如此，您还可以使用它来移动您希望在驱动程序和执行程序中的配置文件。类路径。

将文件作为命令行参数传递给Spark

1 个答案: