如何从pyspark中的默认设置更改python3版本

时间:2019-11-29 11:45:16

标签: python pyspark centos

如何将python3.4版本从默认值更改为pyspark中的python2.6?

就我而言,我在Centos6.6上安装了python 3.4和2.6,并且pyspark默认情况下选择python 2.6。我试图更改pyspark使用的python版本,设置以下环境变量并运行pyspark。

$ export PYSPARK_PYTHON = / usr / bin / python3.4

$ export PYSPARK_DRIVER_PYTHON = python3

但是它没有用,这就是我得到的

错误:使用的默认Python是Python3    将环境变量PYSPARK_PYTHON设置为Python2二进制文件,然后重新运行它。

我也很累$ export PYSPARK_DRIVER_PYTHON = / usr / bin / python3,但是它不起作用。

能否让我知道如何在pyspark中更改版本?

PYSPARK与2.6.6版本完全兼容。我有一个使用NaiveBayes,TF-IDF,Word2Vec的用例,为此,我认为我可能需要python3。我不确定那个

我刚刚开始学习Pyspark,因此了解解决方案真是太好了。谢谢!

0 个答案:

没有答案