在过去的两天里,我试图让它发挥作用,一直在抨击我的大脑。我在我的Mac上安装了本地Spark,我试图将调试器连接到。我设置:
SPARK_JAVA_OPTS = -agentlib:JDWP =运输= dt_socket,服务器= Y,暂停= Y,地址= 5005
然后我将我的工作提交给spark-submit并在eclipse中启动我的调试配置,eclipse配置为Socket Attach远程调试会话。调试器附加,我的工作恢复并执行,但无论我做什么,我的断点都没有被击中。
我能让它达到断点的唯一方法是附加一个spark-shell,创建一个Java Exception断点并发出
throw new java.lang.Exception()
调试器不会在正常断点处停止。
我创建了一个独立的Hellow World scala应用程序,并且能够附加到它并使其在常规断点处停止而没有任何问题。
环境:Mac OS,最新的Eclipse,最新的Scala IDE,Spark 1.3.1,Scala 2.10.5
提前致谢。