我有一个过程将数据从mysql复制到EMR实例,然后从EMR复制到aws s3。第一步没有问题,而从EMR到aws s3的复制是复制部分数据(特别是最后一行在文件中是部分的)。
我正在使用aws s3 cp
命令使用python
retval = sub.call(_cmd,shell=True)
if retval != 0:
print "error"
sys.exit(1)
我比较尺寸并看到aws s3上的尺寸< EMR。
如果我使用aws s3 cp..
手动运行副本,则无任何问题。
我不确定python subprocess
是否归因于此行为。
有什么建议吗?