出于一些非常恼人的原因,spark-ec2文件(我使用Spark 1.5)启动了一个默认使用python2.6(!!!)的集群,所以我不能使用字典理解。
我在我的spark-env.sh文件中设置export PYSPARK_PYTHON="/usr/bin/python3"
(spun up群集中的那个),但我仍然收到错误:
java.io.IOException (Cannot run program "/usr/bin/python3": error=2, No such file or directory)
我很惊讶地看到默认的python是2.6,甚至不是2.7 ......我确定必须有充分的理由...