Azure DataFactory管道超时

Question

目前我们有一个超过200k记录的表，所以当我们将数据从源azure sql数据库移动到另一个sql数据库时，需要花费很多时间超过3小时导致超时错误，最初我们将超时设置为1然而，由于超时错误，我们必须将超时间隔增加到3小时，但仍无法正常工作。

这就是我们定义流程的方式。

1. 两个数据集 - ＆gt;输入和输出
2. 一个管道 在管道内部，我们有一个查询，如select * from table; 我们有存储过程，其脚本就像
3. 从表中删除所有记录。
4. 插入语句以插入所有记录。

这非常耗时，因此我们决定在过去24小时内根据日期列进行更新并插入修改或插入的数据。

因此，azure管道中是否有任何功能可以检查在过去24小时内在源azure sql db中插入或更新的记录，或者我们是否需要在目标sql存储过程中执行此操作。

Answer 1

在Azure Data Factory中，我们有一个类似writeBatchsize的选项。我们可以设置此值以间隔刷新数据，而不是为每条记录刷新。