Question

我正在尝试构建一个使用zookeeper和kafka的spark应用程序。 Maven正在用于构建。我正在尝试构建的项目是here。执行时：

mvn clean package exec:java -Dexec.mainClass="com.iot.video.app.spark.processor.VideoStreamProcessor"

显示

ERROR SparkContext:91 - Error initializing SparkContext.
java.lang.IllegalArgumentException: System memory 253427712 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.

我尝试将spark.driver.memory 4g添加到spark-defaults.conf但我仍然收到错误。我该如何解决？

Answer 1

您可以使用专用的spark-submit参数向工作人员发送额外的JVM选项：

spark-submit --conf 'spark.executor.memory=1g'\
      --conf 'spark.executor.extraJavaOptions=-Xms1024m -Xmx4096m'

同样，您可以为驱动程序设置选项（如果您的应用程序以群集模式提交，或者通过spark-submit启动，则非常有用）：

--conf 'spark.driver.extraJavaOptions=-Xms512m -Xmx2048m'

设置spark vm选项

1 个答案: