如何在apache toree pyspark notebook中更改python版本？

Question

我正在为Pyspark Notebook运行Apache Toree。我在unix机器上安装了anaconda 3.5和jupyter hub。当我从Jupyter笔记本调用pyspark时，它从Python 2.7而不是Anaconda 3.5开始。

请求您帮助更改python版本。

请参阅我已经尝试通过os.environ更改python版本，但它没有用。

Answer 1

以下步骤使用Python-3配置Toree：

1. 使用spark home和python路径安装了一个新内核。

   jupyter toree install --spark_home =＆＃34; spark_path＆＃34; --kernel_name = tanveer_kernel1 --interpreters = PySpark，SQL --python =＆＃34; python_path＆＃34;

   1. 执行上述操作后，驱动程序Python版本和Executor Python版本存在问题。通过添加
   修正了spark-env.sh中的Python版本

   导出PYSPARK_PYTHON =＆＃34; / usr / lib / anaconda3 / bin / python＆＃34; 导出PYSPARK_DRIVER_PYTHON =＆＃34; / usr / lib / anaconda3 / bin / python＆＃34;

   1. 重启火花服务。