我正在用AWS Emr上的apache-spark进行游戏，并尝试使用this将集群设置为使用python3，
我将该命令用作引导脚本中的最后一个命令
sudo sed -i -e '$a\export PYSPARK_PYTHON=/usr/bin/python3' /etc/spark/conf/spark-env.sh
当我使用它时，群集在引导过程中崩溃，并显示以下错误。
sed：无法读取/etc/spark/conf/spark-env.sh：没有此类文件或 目录
如何设置它以正确使用python3？
这不是重复的of，我的问题是引导时群集没有找到spark-env.sh文件，而另一个问题解决了系统找不到python3的问题
答案 0 :(得分：1)
最后，我没有使用该脚本，但是使用了创建阶段可用的EMR configuration文件，它通过spark_submit（在aws gui中）为我提供了正确的配置。 pyspark脚本以更编程的方式可用，您可以使用os.environ在python脚本中设置pyspark python版本