我正在使用Livy rest api使用s3a替换HDFS来提交spark作业。我直接在core-site.xml中编写AK和SK,它可以工作。我想加密我的AK和SK,因为我不想让其他人知道我的sk。我不知道要这么做。
我知道,如果我在提交作业时将它们以-Dfs.s3a.access.key = XXX -Dfs.s3a.secret.key = XXX的形式写在CMD中,则不会将其存储在core-site.xml中。但是,我正在使用Livy Rest API远程提交Spark作业。我没有找到任何参数来接收两个参数。
在这种情况下我该怎么办?哭泣
<property>
<name>fs.s3a.access.key</name>
<value>XXXXXXXXXXXX</value>
</property>
<property>
<name>fs.s3a.secret.key</name>
<value>XXXXXXXXXXXXXX</value>
</property>