子进程与aws s3不完整的文件副本

时间:2015-02-18 19:34:15

标签: python amazon-web-services amazon-s3 subprocess

我有一个过程将数据从mysql复制到EMR实例,然后从EMR复制到aws s3。第一步没有问题,而从EMR到aws s3的复制是复制部分数据(特别是最后一行在文件中是部分的)。 我正在使用aws s3 cp命令使用python

复制数据

retval = sub.call(_cmd,shell=True) if retval != 0: print "error" sys.exit(1)

我比较尺寸并看到aws s3上的尺寸< EMR。 如果我使用aws s3 cp..手动运行副本,则无任何问题。 我不确定python subprocess是否归因于此行为。 有什么建议吗?

0 个答案:

没有答案