如果没有设置无密码访问的ssh,我如何设置spark群集,因为document提到了:
如果您没有无密码设置,可以设置环境变量SPARK_SSH_FOREGROUND并为每个工作人员连续提供密码。
我想知道如何使用SPARK_SSH_FOREGROUND变量??
答案 0 :(得分:2)
环境变量SPARK_SSH_FOREGROUND
可以设置为yes
或y
,以便在前台执行ssh
正如您在源代码中看到的那样:
https://github.com/apache/spark/pull/2444/commits/1bba8a959ea9ecf21eb0783d3ce302065bf1a154
if [ "${SPARK_SSH_FOREGROUND}" = "y" ] || [ "${SPARK_SSH_FOREGROUND}" = "yes" ]; then
ssh $SPARK_SSH_OPTS "$slave" $"${@// /\\ }" \