PySpark和PDB似乎没有混合

时间:2016-03-29 18:48:14

标签: pyspark

我构建将使用pyspark(和elasticsearch-hadoop连接器)的独立python程序。我也沉迷于Python调试器(PDB),并希望能够逐步完成我的代码。

我似乎无法像往常一样用PDB运行pyspark

./pyspark -m pdb testCode.py

我收到错误" pyspark不支持任何应用程序选项"

是否可以从标准python解释器运行pyspark代码?还是我需要放弃pdb?

我也在网上看到我需要在我的PYTHONPATH中加入py4j-0.9-src.zip。当我这样做时,我可以使用python解释器并逐步执行我的代码,但是我得到一个错误" Py4JavaError:Py4JJava ... t id = o18)"当它运行任何pyspark代码时。这个错误似乎表明我并没有真正与火花互动。

我该如何处理?

0 个答案:

没有答案