Redshift副本在复制大量文件后5小时后就会中止

Question

我正在尝试使用单个复制命令将所有日志（大约2000个文件）上传到redshift。 CPU飙升至50％并持续运行5小时然后停止。 redshift AWS控制台上没有显示错误; stl_load_errors中也没有错误。磁盘使用百分比从2％上升到30％。

Answer 1

我浪费了这么多天。最后可以通过将日志文件的数量分成较小的块来解决这个问题。每个块有大约50个文件。百分比磁盘空间也没有拍摄..即使在满载后只有10％的磁盘使用率发生。