修改spark-env.sh后,无法在Spark集群中使用python3

时间:2015-11-09 19:50:14

标签: python-3.x amazon-ec2 apache-spark

出于一些非常恼人的原因,spark-ec2文件(我使用Spark 1.5)启动了一个默认使用python2.6(!!!)的集群,所以我不能使用字典理解。

我在我的spark-env.sh文件中设置export PYSPARK_PYTHON="/usr/bin/python3"(spun up群集中的那个),但我仍然收到错误:

java.io.IOException (Cannot run program "/usr/bin/python3": error=2, No such file or directory)
  1. 如何有效地更改python的版本?
  2. 更好的是,我如何启动使用python3作为默认值的集群?
  3. 我很惊讶地看到默认的python是2.6,甚至不是2.7 ......我确定必须有充分的理由...

1 个答案:

答案 0 :(得分:0)

https://spark-project.atlassian.net/browse/SPARK-922

我需要输入30个字符或更多