我使用ambari在spark-env.sh中设置了PYSPARK_PYTHON = python3,当我在命令行中尝试'pyspark'时,它运行python 3.4.3。但是,当我使用纱线群集模式提交作业时,它使用python 2.7.9运行。如何使用python3?
答案 0 :(得分:0)
你需要提供python3的完整路径,如:
subprocess.call(['export PYSPARK_PYTHON=/usr/local/bin/python2.7'],shell=True)