如何在AWS参数存储中存储JSON或从其中获取JSON

Question

我使用Livy REST API提交Spark应用。

{
  “file”: <application-jar>,
  “className”: “<main-class>”,
  “args”: my_args,
  “conf”: my_conf
}

my_args = [args1, args2, ...]
my_conf = {'foo1': 'bar1', 'foo2': 'bar2'...}

当我使用Livy的python脚本提交spark应用时，我希望将my_conf（json机密）存储在AWS SSM参数存储中并从参数存储中使用它。 如何存储和从参数存储中获取（从python中获取相同的json）my_conf？

Answer 1

import json
import boto3

my_conf = {'foo1': 'bar1', 'foo2': 'bar2'}
boto3.client('ssm').put_parameter(Name='MyParameter', Value=json.dumps(my_conf), Type='String')
my_conf = json.loads(boto3.client('ssm').get_parameter(Name='MyParameter'))

...假设您已设置适当的权限以允许您进行这些呼叫。

请参见

• https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/ssm.html#SSM.Client.get_parameter
• https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/ssm.html#SSM.Client.put_parameter

Answer 2

我过去曾经成功使用过该实用程序。这样做的好处是，您可以选择在ssm中构建易于阅读和编辑的配置。

https://github.com/b-b3rn4rd/json2ssm