使用livy Rest API链接到s3a时如何在core-site.xml中加密ak和sk

时间:2019-06-19 02:37:39

标签: apache-spark hadoop livy

我正在使用Livy rest api使用s3a替换HDFS来提交spark作业。我直接在core-site.xml中编写AK和SK,它可以工作。我想加密我的AK和SK,因为我不想让其他人知道我的sk。我不知道要这么做。

我知道,如果我在提交作业时将它们以-Dfs.s3a.access.key = XXX -Dfs.s3a.secret.key = XXX的形式写在CMD中,则不会将其存储在core-site.xml中。但是,我正在使用Livy Rest API远程提交Spark作业。我没有找到任何参数来接收两个参数。

在这种情况下我该怎么办?哭泣

<property>
    <name>fs.s3a.access.key</name>
    <value>XXXXXXXXXXXX</value>
</property>
<property>
    <name>fs.s3a.secret.key</name>
    <value>XXXXXXXXXXXXXX</value>
</property>

0 个答案:

没有答案