Question

我正在尝试在Windows中使用Spark-Submit运行Spark作业。我正在从命令提示符处执行以下spark-submit命令。

火花提交-驱动程序类路径％FILE_NAME％\ config -文件％FILE_NAME％\ config \ app.conf，％FILE_NAME％\ config \ log4j.properties -conf “ spark.driver.extraJavaOptions = -Dcassandra.username = cassandra -Dcassandra.password=cassandra@123“ -class com.sapient.main.MainApp％FILE_NAME％\ lib \ test.jar

在这里，我尝试使用spark.driver.extraJavaOptions传递两个系统属性，一个是cassandra.username，另一个是cassandra.password，但是在执行命令时，我遇到了错误消息

The input line is too long.

但是，如果我仅将一个系统属性传递给extraJavaOptions，并且没有如下所示的双引号""，则一切正常。

 --conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra

但是我需要传递2个系统属性。有人可以帮忙解决此问题吗？还请让我知道是否还有另一种方法可以将系统属性传递给spark，从而避免此问题。

注意：它在linux环境中运行。

Answer 1

您可以使用conf文件并将其传递给spark-submit

或

像下面那样传递

--conf spark.driver.extraJavaOptions=-Dcassandra.username=cassandra\
--conf spark.rpc.message.maxSize=1024\
--conf spark.network,timeout=1000\

传递多个系统属性以提交火花

1 个答案: