Pyspark-如何在RDD操作中检查变量

时间：2018-09-22 02:26:55

标签： apache-spark intellij-idea pyspark pycharm

我曾经使用IntelliJ在Scala Spark中进行开发。通过设置断点，我能够在调试模式下检查变量内容。像这样 enter image description here

我最近使用pyspark和pycharm启动了一个新项目。我发现代码不会在Spark操作的断点处停止，如下所示。 enter image description here

另一个问题是提示提示没有从“地图”功能提供正确的提示。似乎IDE不知道来自“ map”函数的变量仍然是RDD，我想它与python函数有关，未定义返回类型。

enter image description here enter image description here

对于PySpark开发人员，我感到这些天真问题。任何帮助都会很棒，谢谢！

1 个答案:

答案 0 :(得分：0)

“ ...代码不会在Spark操作的中断点处停止，如下所示……”-请您说明一下您的PyCharm版本和操作系统是什么？

“另一个问题是提示提示无法从“ map”功能提供正确的提示。似乎IDE不知道“ map”功能的变量仍然是rdd ...”-我相信它与此功能请求https://youtrack.jetbrains.com/issue/PY-29811

相关问题
最新问题