azure数据湖增量复制任务从onprem到数据湖存储

Question

我在on prem servefr上有3个文件夹，每个文件夹有几个文件。 我的目标是逐步将文件从onprem服务器加载到数据湖，所以一旦我们下次将文件复制到数据湖时，只需要移动新文件。

提前谢谢 vipin jha

Answer 1

您是否查看过Azure数据工厂的数据移动？

否则，您必须实施一个上传过程，该过程保持“高水位线”，告诉您已经上传的内容，然后仅在水印后开始上传文件。例如，如果您每天上传，请将最后一天写入文件，例如您阅读以确定第二天从哪里开始。另外，请确保以一种简单的方式组织数据。