我需要为python
解释器执行一些自定义设置:与pyspark
特别相关:" interpeter"实际上将是spark-submit
(又名pyspark
)shell脚本。目的是能够在pyspark
内运行 python console
个工作。在Run Configuration
内运行也没关系:这将是另一种方法。
我使用IJ Ultimate - 它具有良好的python支持:除了这个特殊的用例之外。
让我们与pycharm
进行比较 - 特别是自定义解释器的能力 - 包括设置本地,远程或虚拟实体:
Intellij Ultimate似乎缺少这些选项:而是指向python sdk的库。这对于给定的用例来说是不够的:
以下是下拉列表:请注意,无法添加自定义python解释器。
答案 0 :(得分:2)
PyCharm和IntelliJ具有完全相同的选项来添加和配置Python代码。
PyCharm让它变得更容易。
那些窗口没有任何口译人员
很确定它确实......你在这里添加解释器。
bin/pyspark
不是解释器,而是shell脚本。您只需设置常规Python解释器。您还需要添加Pyspark库。 (见下文)
然后,在此配置环境变量(运行配置)(参见下面的那些)
就PySpark库而言,你必须添加这些(使用完整路径,而不是变量)
$SPARK_HOME/python/
$SPARK_HOME/python/lib/py4j-X.X-src.zip
您还需要在显示的“编辑配置”窗口中设置这些变量
SPARK_HOME
=火花之路PYTHONPATH
= py4j-X.X-src.zip的路径(我还相信,还需要将路径附加到当前python解释器的目录)参考:
这是一段运行
代码的视频