在S3 Bucket中写入文件

时间:2017-07-26 03:12:08

标签: amazon-web-services amazon-s3 stream

我想在S3存储桶中创建一个文件。

我有一个列表,在单次迭代中有大约10,000个字符串,我想将它们写入S3,清除列表。然后,在第二次迭代中,列表再次填充10,000个条目,是否可以将这些新的10,000个条目写入我的S3存储桶中的同一文件?如何在S3中存储这些条目而不将其存储在本地计算机上?

1 个答案:

答案 0 :(得分:1)

有多种方法可以在Amazon S3中存储对象。

最简单的方法是将本地文件复制到S3 ,这可以通过编程方式或AWS Command-Line Interface (CLI)完成。例如:

aws s3 cp foo.txt s3://my-bucket/foo.txt

aws s3 cp命令还可以从stdin获取输入并将输出发送到stdout。因此,如果您有一个程序输出文本到stdout,您可以将其存储在S3中:

./myapp | aws s3 cp - s3://my-bucket/foo.txt

请参阅:AWS S3 CP documentation中将本地文件流上传到S3

或者,您可以直接从您的应用程序将对象写入Amazon S3 ,使用AWS SDK作为首选语言。例如,这可以将数据流式传输到Amazon S3对象,而无需先将其写入本地磁盘。