如何将python3.4版本从默认值更改为pyspark中的python2.6?
就我而言,我在Centos6.6上安装了python 3.4和2.6,并且pyspark默认情况下选择python 2.6。我试图更改pyspark使用的python版本,设置以下环境变量并运行pyspark。
$ export PYSPARK_PYTHON = / usr / bin / python3.4
$ export PYSPARK_DRIVER_PYTHON = python3
但是它没有用,这就是我得到的
错误:使用的默认Python是Python3 将环境变量PYSPARK_PYTHON设置为Python2二进制文件,然后重新运行它。
我也很累$ export PYSPARK_DRIVER_PYTHON = / usr / bin / python3,但是它不起作用。
能否让我知道如何在pyspark中更改版本?
PYSPARK与2.6.6版本完全兼容。我有一个使用NaiveBayes,TF-IDF,Word2Vec的用例,为此,我认为我可能需要python3。我不确定那个
我刚刚开始学习Pyspark,因此了解解决方案真是太好了。谢谢!