数据工厂中的管道正在加载部分数据

Question

我在数据工厂中创建了一些管道，这些管道正在从源中读取文件，但是它们正在写入部分数据，而不是全部数据。我无法确定根本原因。

我正在使用ADF V2。我提取了所有.gz文件，总行数为64448，共有15个文件。然后，我检查了目的地，并且管道已经写了大约一半的记录，即31210。

我还尝试仅加载1个文件（包含4500条记录），并写入了2100条记录。

Answer 1

您可以使用标识列作为代理键来代替时间戳列来传输数据。