Question

我们有两个可用的Spark版本（1.6和2.1）。我设置了环境变量（例如{ responsive: true, maintainAspectRatio: false, scales: { yAxes: [{ position: 'left', ticks: { callback: value => { let date = moment(value); if (date.diff(moment('1970-02-01 23:59:59'), 'minutes') === 0) { return null; } return date.format('H:mm'); }, stepSize: 3.6e+6 } }] }, //end scales tooltips: { callbacks: { label: function(toolTipItem, data) { let date = moment(toolTipItem.yLabel); if (date.diff(moment('1970-02-01 23:59:59'), 'minutes') === 0) { return null; } return date.format('H:mm'); } } } }），这样，当直接打开pyspark或spark-shell时，它使用Spark 2.1。但是，当我尝试在IPython会话中导入pyspark时，它使用Spark 1.6。如何将其设置为默认使用2.1？

Answer 1

我能够通过设置以下环境变量来解决这个问题：

export SPARK_HOME=/usr/hdp/2.6.1.0-129/spark2/
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH

并将以下内容添加到我的IPython启动中：

import sys
import os

os.environ['SPARK_HOME'] = "/usr/hdp/2.6.1.0-129/spark2/"
sys.path.append("/usr/hdp/2.6.1.0-129/spark2/python")
sys.path.append("/usr/hdp/2.6.1.0-129/spark2/python/build")

在IPython会话中选择PySpark版本

1 个答案: