我已尝试使用数据管道的默认设置进行跨区域表复制。在同一区域(eu-west-1)中将一个表复制到另一个表。
在管道激活时,EMR集群启动,运行大约20分钟,然后它终止,管道处于成功状态"状态。
问题是我的表中只复制了389个条目:/(多个运行中的数字相同)。总条目数接近100000。
我尝试打开日志(没有错误),遍历它们,启动4.1.0集群,增加吞吐量等等,没有解决问题。
跨区域表复制是否有效?可能是什么问题呢?为什么没有错误?我该如何调试呢?
Datapipeline config:https://gist.github.com/mariusgrigaitis/adceb18354b52d845278