使用spark-submit我正在启动一个java程序。但是,我正在为JVM设置未考虑的java参数。我正在尝试指定最大/最小堆自由比率。
但是,即使存在参数(基于visualvm),内存图也表明它们不会影响正在运行的程序。
这是我正在启动的命令:
“/ usr / jdk1.8.0_131 / bin / java”“ - Xmx4096M”“ - Dspark.driver.extraJavaOptions = -XX:MinHeapFreeRatio = 30 -XX:MaxHeapFreeRatio = 30 -agentlib:jdwp = transport = dt_socket,server = y,suspend = n,address = 5005“” - Dspark.executor.extraJavaOptions = -XX:MinHeapFreeRatio = 30 -XX:MaxHeapFreeRatio = 30“” - XX:MinHeapFreeRatio = 30“” - XX:MaxHeapFreeRatio = 30“
如您所见,我已尝试在驱动程序,执行程序和java命令上设置参数。
要清楚,我正在努力改进的是“未使用的”堆大小。
使用这些参数(在spark之外)启动程序时,它的行为正确。