当应用程序以集群模式提交到独立集群时,spark.driver.extraJavaOptions不起作用

时间:2020-04-15 07:11:48

标签: apache-spark

我正在使用spark.2.3.1。 Spark应用以集群模式提交到独立集群spark://10.101.3.128:7077。我需要一些带有spark.driver.extraJavaOptions的JVM选项。但是,我发现它没有传递给JVM。我在这里打印驱动程序进程的命令行。

anqin     2239 59.6  4.2 3702324 338352 ?      Sl   14:51   0:13 /opt/jdk1.8.0_91/bin/java .... -Dspark.driver.memory=1g -Dspark.port.maxRetries=20 -Dspark.cores.max=4 -Dspark.driver.maxResultSize=200m -Dspark.driver.supervise=false -Dspark.hadoop.conf.dir=/home/hadoop/hadoop-insec-2.7.3/etc/hadoop -Dspark.executor.memory=1g -Dspark.hadoop.cloneConf=true -Dspark.sql.thriftServer.incrementalCollect=false -Dspark.driver.port=31100 -Dspark.driver.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y -Dspark.rpc.askTimeout=10s -Dspark.driver.extraClassPath= -Dspark.master.submit=spark://10.101.3.128:7077 org.apache.spark.deploy.worker.DriverWrapper spark://Worker@10.101.3.128:59189 /home/anqin/spark-2.3.1-bin-hadoop2.7/work/driver-20200415145131-0029/vtsparkcommon.jar com.vitria.spark.MainClass /home/qa/anqin/VIA61RS/spark/apps/_appdata_qs__prj_vtd88ecbb3-b10a-4f70-8877-53122250cb8e-Deployment

我的财产是spark.driver.extraJavaOptions = -Xdebug -Xrunjdwp:transport = dt_socket,address = 8788,server = y,suspend = y。我们可以看到此字符串作为spark.driver.extraJavaOptions的值传递给JVM。字符串“ -Dspark.driver.extraJavaOptions =”不应该在这里,对吗?由于驱动程序在DriverWrapper的同一JVM中运行,因此无法获得正确的JVM选项。

是错误吗?有什么办法可以工作吗?我想知道是否已在任何发行版的Spark中解决此问题,或者将来会解决此问题。

顺便说一下,spark://10.101.3.128:6066不存在此问题。

谢谢。

0 个答案:

没有答案