从python代码中为spark设置环境变量

Question

我已在Mac OS中设置环境变量以运行pyspark

export SPARK_HOME=/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH

export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

以上几行对我有用。

我试图使用以下几行python代码

在python中复制上面的命令

os.environ['SPARK_HOME']="/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6"
spark_home=os.environ.get('SPARK_HOME',None)

sys.path.append("/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6/python/")

sys.path.insert(0,os.path.join(spark_home,'py4j-0.8.2.1-src.zip'))

但它不起作用。请告诉我我做错了什么？

Answer 1

你的最后一行python代码：

chdir()

与您的shell代码不一致。您可以将其更改为：

sys.path.insert(0,os.path.join(spark_home,'py4j-0.8.2.1-src.zip'))