Question

是否足以确保在conf / spark-env.sh中设置PYSPARK_PYTHON以指向这些工作人员的正确Python，或者还需要做其他事情吗？

Answer 1

抱歉，我误解了你的问题...我认为“PYSPARK_PYTHON”已经足够好了，如果你想要仔细检查那么也许你可以尝试 Chef 或 {{ 3}} 为所有主人和工人部署相同的环境（包括python路径）。

我不确定您使用的是哪个版本，但最新的1.5.1，您可以使用网络界面来监控您的工作状态

http://<server-url>:18080

http://<driver-node>:4040

只需打开即可访问此界面 http：//：4040在Web浏览器中。如果有多个SparkContexts 它们在同一主机上运行，它们将绑定到连续的端口从4040（4041,4042等）开始。

您可以阅读有关Puppet

的更多信息