如何在Amazon S3中存储程序的输出？

Question

我有一个AWS EMR集群。我为运行该程序的集群创建了一个步骤＆＃34; samplespark.py＆＃34; （包含在S3存储桶中）。 samplespark.py创建一个文件并将一些输出写入该文件，或者至少在我在我的计算机上测试时会这样做。当我在AWS EMR上运行samplespark.py时，我找不到输出文件。

如何将输出文件写入Amazon S3存储桶？

Answer 1

或者您可以使用minio client aka mc

您可以将结果直接作为对象传递给S3存储桶。

$ python samplespark.py | mc pipe s3 / myoutput / output.txt

希望它有所帮助。