我想弄清楚如何在PyCharm中开发apache-spark程序。 我已经关注了link中的文章。 我定义SPARK_HOME并将pyspark添加到Python路径中。没有错误 在导入pyspark模块和自动完成工作正常。
但是当我在PyCharm中运行程序时,我在定义SparkContext时遇到错误。
Error: Must specify a primary resource (JAR or Python or R file)
Run with --help for usage help or --verbose for debug output
...
...
Exception: Java gateway process exited before sending the driver its port number
我设法使用submit-spark在终端上运行程序。 我是否需要更改PyCharm上的配置或者无论如何都要运行 在PyCharm中提交spark而不是python?
答案 0 :(得分:1)
如果您在终端submit-spark
上行得很好,可以add a run configuration为您做到这一点。否则,您也可以在Edit Run/Debug Configurations
窗口中看到一些配置。 This post in particular你能帮助你吗?