使用S3作为AWS DMS的目标：上载的文件名不变

Question

我们正在使用DMS从SQL Server中获取数据并将其加载到S3存储桶中，然后最终使用Snowpipe进行完整加载将数据加载到Snowflake DB中。

现在，为了使Snowpipe知道S3存储桶中有新数据，文件名必须与上一个不同。尝试使用所有可用的任务设置选项（DROP_AND_CREATE，DO_NOTHING，TRUNCATE）使文件名不同，但仍然无法正常工作。它将文件名加载为LOAD00000001.csv

在文档中它显示文件名将是递增的（例如LOAD00000001.csv，LOAD00000002.csv等），但没有发生。这就是Snowpipe无法注册更改的原因。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.S3.html

有人可以帮忙吗？

Answer 1

对于DMS，每次运行任务时，增量计数器都从1开始递增。它没有“不要覆盖现有对象”功能。

最好的选择是通过在文件夹中查找更新的对象时间戳或设置S3事件通知来自己处理负载。