工作节点和主节点中的Python版本各不相同

Question

在CentOS 6.7上运行spark 1.4.1。使用anaconda安装了python 2.7和python 3.5.1。

确保PYSPARK_PYTHON env var设置为python3.5，但是当我打开pyspark shell并执行一个简单的rdd转换时，它会出现以下异常错误：

异常：worker中的Python与驱动程序3.5中的版本不同，PySpark不能与不同的次要版本一起运行

只是想知道改变路径的其他地方是什么。

Answer 1

您是否使用新设置重启Spark工作人员？仅为您的驱动程序进程更改环境设置是不够的：驱动程序创建的任务将跨进程，有时是系统，边界将被执行。这些任务是编译的代码，所以这就是两个版本需要匹配的原因。