没有考虑JVM选项,java程序的spark-submit

时间:2017-07-28 09:40:21

标签: java apache-spark jvm-arguments spark-submit

使用spark-submit我正在启动一个java程序。但是,我正在为JVM设置未考虑的java参数。我正在尝试指定最大/最小堆自由比率。

但是,即使存在参数(基于visualvm),内存图也表明它们不会影响正在运行的程序。

这是我正在启动的命令:

  

“/ usr / jdk1.8.0_131 / bin / java”“ - Xmx4096M”“ - Dspark.driver.extraJavaOptions = -XX:MinHeapFreeRatio = 30 -XX:MaxHeapFreeRatio = 30 -agentlib:jdwp = transport = dt_socket,server = y,suspend = n,address = 5005“” - Dspark.executor.extraJavaOptions = -XX:MinHeapFreeRatio = 30 -XX:MaxHeapFreeRatio = 30“” - XX:MinHeapFreeRatio = 30“” - XX:MaxHeapFreeRatio = 30“

如您所见,我已尝试在驱动程序,执行程序和java命令上设置参数。

以下是visualvm的参数: enter image description here

这是图表:enter image description here

要清楚,我正在努力改进的是“未使用的”堆大小。

使用这些参数(在spark之外)启动程序时,它的行为正确。

0 个答案:

没有答案