在Spark conf中传递kerberos keytab和principal

时间:2019-06-27 15:26:07

标签: apache-spark kerberos

我正在尝试从Intellij内部以本地模式运行spark应用程序。该应用程序使用sc.textFile("hdfs://...")从hdfs读取文本文件。 hdfs通过Kerberos身份验证进行保护。我知道您可以使用spark发射器并指定kerberos keytab和principal,但是为此,每次执行代码更改并要测试时,我都必须执行sbt assembly。是否有替代/更好的方式来指定kerberos keytab文件和kerberos主体来激发?还有提供hdfs namenode信息的参数吗?

谢谢!

1 个答案:

答案 0 :(得分:0)

首先,您可以在构建SparkSession( described here)时提供这些参数。

第二个选项是将主体和密钥表作为应用程序的命令行参数传递。