我正在尝试从Intellij内部以本地模式运行spark应用程序。该应用程序使用sc.textFile("hdfs://...")
从hdfs读取文本文件。 hdfs通过Kerberos身份验证进行保护。我知道您可以使用spark发射器并指定kerberos keytab和principal,但是为此,每次执行代码更改并要测试时,我都必须执行sbt assembly
。是否有替代/更好的方式来指定kerberos keytab文件和kerberos主体来激发?还有提供hdfs namenode信息的参数吗?
谢谢!