如何使用spark-submit集群模式进行身份验证？

Question

我想从本地计算机远程运行spark-submit以将作业提交到spark群集（群集模式）。我可以使用什么方法向群集验证自己？

Answer 1

您需要在spark客户端计算机上提交作业。一旦您进入spark客户端并在提交作业后，您将通过用户ID进行身份验证，您将通过该身份提交作业。如果您的用户ID具有群集权限，则会自动进行处理。对于已启用的kerberos，您需要首先为该会话生成keytab，并为用户进行身份验证。