Question

我安装了Anaconda，并尝试在顶部使用spark。当我使用Ipython_OPTS =＆＃34; notebook＆＃34;启动spark时，python版本是与anaconda的python版本相关联的笔记本。

$ conda search python
Using Anaconda Cloud api site https://api.anaconda.org
Fetching package metadata: ....
ipython                      0.13                     py26_0  defaults
                          *  4.1.2                    py35_1  defaults
ipython-notebook             0.13.2                   py27_0  defaults
                             4.0.4                    py27_0  defaults
                             4.0.4                    py34_0  defaults
                             4.0.4                    py35_0  defaults
python                       1.0.1                         0  defaults
                          .  2.7.11                        0  defaults
                          *  3.5.1                         0  defaults

如果启动spark-shell我可以精确测试我感兴趣的环境版本（我想要2.7.11）：

$ PYSPARK_PYTHON=/Applications/anaconda/anaconda/envs/vingt-sept/bin/python  pyspark
Python 2.7.11 |Continuum Analytics, Inc.| (default, Dec  6 2015, 18:57:58)

但如果我用ipython笔记本启动spark，那么它默认返回到python 3.5版本： - （

如何将默认的ipython版本链接到与我的env＆＃34; vingt-sept＆＃34;相同的版本。？

Answer 1

与为PYSPARK_PYTHON shell设置pyspark环境变量的方式类似，您也可以使用以下方法在IPython / Jupyter笔记本中设置此环境变量：

import os
os.environ["PYSPARK_PYTHON"] = "/Applications/anaconda/anaconda/envs/vingt-sept/bin/python"

有关从笔记本中设置PYSPARK_PYTHON和其他与Spark相关的环境变量的详细信息，请参阅this blog post。

Anaconda + Spark - 改变ipython笔记本的python版本

1 个答案: