标签: python apache-spark ipython pyspark
我安装了Spark(1.5.1)。使用标准Python(2.7)shell运行PySpark工作正常并加载所有Spark模块。它还会打印出大量的输出日志作为python加载。
当我更改变量PYSPARK_DRIVER_PYTHON=ipython时,IPython会加载,但不打印任何日志,并且未定义sc SparkContext变量。在我看来,shell.py启动脚本没有被加载。
PYSPARK_DRIVER_PYTHON=ipython
sc
SparkContext
shell.py
我该如何解决这个问题?