当我在命令行输入时:
pyspark --packages graphframes:graphframes:0.2.0-spark2.0-s_2.11
它会运作良好。 但是,当我想使用ipython启动我的pyspark并使用graphframes包时,它不起作用。
当我在命令行输入时:
PYSPARK_DRIVER_PYTHON = ipython pyspark --packages graphframes:graphframes:0.2.0-spark2.0-s_2.11
错误是: 无法找到模块' graphframes'
答案 0 :(得分:0)
在graphframes
0.2.0中已经在0.3.0中解决的Spark包is a known bug缺乏Python 3兼容性。
--packages graphframes:graphframes:0.3.0-spark2.0-s_2.11