如何在mrjob中为AWS accesskey和secretaccesskey更改环境变量

时间:2013-02-17 17:15:01

标签: python hadoop amazon-ec2 mapreduce mrjob

如何更改mrjob中的$AWS_ACCESS_KEY_ID$AWS_SECRET_ACCESS_KEY以输入我自己的AWS凭据?我在Mac OS X上使用终端。

https://github.com/Yelp/mrjob

谢谢!

1 个答案:

答案 0 :(得分:0)

嗯,你有几种方法。您只需更改名为AWS_ACCESS_KEY_IDAWS_SECRET_ACCESS_KEY的环境变量即可。您可以使用setenv命令执行此操作,但我不是Mac OS专家。

mrjob的一个很好的功能是它还会读取名为 mrjob.conf 的配置,并在默认位置查找它,例如您的主目录,/ etc目录和指向的目录。环境变量MRJOB_CONF。此配置采用YAML格式,因此您应该使用以下部分来设置密钥:

参赛者:   EMR:     aws_access_key_id:XXXX     aws_secret_access_key:YYYY     ...

您可以在配置中设置更多参数,因此我建议您查看an example config以了解您可以在那里执行的操作。

我还读过,如果您在主目录或/ etc目录下的 .boto 文件中的boto配置中设置了密钥,则可以添加以下几行。没有自己测试,但也应该工作:

aws_access_key_id = XXXX
aws_secret_access_key = YYYY