使用DB2连接自动化spark提交作业

Question

我有一个spark作业，我使用spark submit命令行工具调用我的shell脚本。 我需要将DB2连接用户名和密码的凭据传递给jar文件。 要求是用户名和密码不可读。

任何人都可以帮忙吗？

Answer 1

我会尝试使用hadoop凭证API

自从版本hadoop 2.6以来，Hadoop引入了密钥库。您可以将密钥库路径和别名传递给spark程序，并在运行时从密钥库中获取密码

https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/CommandsManual.html#credential

以下是Java程序示例 https://apache.googlesource.com/hadoop-common/+/refs/heads/trunk/hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/security/alias/JavaKeyStoreProvider.java