spark-如何增加Spark JVM堆栈大小以运行深度递归函数

时间:2019-04-09 11:55:56

标签: java apache-spark terminal

由于我正在通过由Ubuntu 18.04服务器组成的Spark Standalone集群运行JAR,并通过终端启动它们,因此我遇到了程序堆栈大小的问题。

该程序进行深度递归调用,但我不知道该如何增加。我试图增加驱动程序和工作程序的内存,但似乎仍然不够。

我曾经使用过以下命令:

spark-submit --class path.to.my.class.App --master spark://192.168.0.2:7077 --deploy-mode cluster --total-executor-cores 2 --executor-memory 4G --driver-memory 4G MyJar.jar

spark-submit --class path.to.my.class.App --master spark://192.168.0.2:7077 --deploy-mode cluster --conf "spark.executor.extraJavaOptions=-Xmx4G" MyJar.jar

它们似乎实际上改变了堆栈大小,因为日志(来自第一个命令的日志):

DriverRunner:54 - Launch Command: "/usr/lib/jvm/java-8-oracle//bin/java" "-cp" "/home/spark/spark-2.4.0-bin-hadoop2.7//conf/:/home/spark/spark-2.4.0-bin-hadoop2.7/jars/*" "-Xmx4096M" "-Dspark.driver.supervise=false" "-Dspark.submit.deployMode=cluster" "-Dspark.jars=file:/home/spark/MyJar.jar" "-Dspark.cores.max=2" "-Dspark.executor.memory=2G" "-Dspark.master=spark://192.168.0.2:7077" "-Dspark.driver.memory=4G" "-Dspark.app.name=path.to.my.class.App" "-Dspark.rpc.askTimeout=10s" "org.apache.spark.deploy.worker.DriverWrapper" "spark://Worker@192.168.0.3:35131" "/home/spark/spark-2.4.0-bin-hadoop2.7/work/driver-20190409133030-0007/MyJar.jar" "path.to.my.class.App"

希望对此问题有一个解决方案,对此我感到非常困惑,在此先感谢。

0 个答案:

没有答案