我试图找出如何在aws数据管道中访问输入s3路径。如果我们正在处理shellcommandactivity并且有一个输入数据节点,其中包含某个s3位置的路径(例如s3:// mybucket / myfile),我们如何在脚本中访问它?我正在使用python boto来实现shell命令活动。我可以连接到s3位置并使用以下内容迭代所有存储桶(以及下面的文件):
bucket = conn.get_bucket('mybucket') rs = bucket.list() 对于rs in: ...
但是我们可以使用boto直接访问s3输入路径吗?我们可以这样做吗?
mykey = conn.get_key('s3:// mybucket / myfile')
提前致谢。
答案 0 :(得分:2)
除非我错过了一些事情:
bucket = conn.get_bucket('mybucket')
my_key = bucket.get_key('myfile')