如何配置DSE Spark进行远程调试

Question

我正在使用DataStax并尝试配置Spark进行远程调试。

我已按照以下步骤操作：a）进入dse-5.1 / resources / spark / conf / dse-spark-env.sh b）在以下代码段中添加了代码，以便Spark驱动程序以调试模式启动

export SPARK_SUBMIT_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=4000 "

但是spark不会在调试中更多地启动。请提出要遵循的链接/步骤。

$ netstat -na | grep "7080"

tcp        0      0 0.0.0.0:7080            0.0.0.0:*               LISTEN

$netstat -na | grep "4000"

$

Answer 1

Spark应用程序由驱动程序和执行程序的数量组成，您应该为它们使用不同的选项： Debugging Spark Applications

为简化操作，您可以在本地模式下运行应用程序。驱动程序和执行程序都只有一个JVM。这是为此的DSE示例：

dse spark --master local[1] --driver-java-options -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=4000