如何在执行spark pgm时指定spark.authenticate.secret值

Question

当我使用deploy-mode：client启动我的spark程序时，出现了此错误。

java.lang.illegalargumentexception：错误：必须通过spark.authenticate.secret配置指定秘密密钥。

部署模式：客户端 主人：纱。

如何解决此错误？我不知道。

Answer 1

以下在帮助我时，在纱线群集模式下出现了类似的错误：

https://issues.apache.org/jira/browse/SPARK-23476

如果将spark.authenticate = true指定为集群范围的配置，则必须添加以下内容 --conf“ spark.authenticate = false” --conf“ spark.shuffle.service.enabled = false” --conf“ spark.dynamicAllocation.enabled = false” --conf“ spark.network.crypto.enabled = false” --conf“ spark.authenticate.enableSaslEncryption = false” 在spark-submit命令中。