在azure数据工厂

时间:2017-05-11 15:43:12

标签: azure azure-storage azure-storage-blobs azure-table-storage azure-data-factory

我希望逐步将数据从azure表复制到azure blob。我创建了链接服务,数据集和管道。我希望每小时后将数据从表复制到blob。该表有一个时间戳列。我希望将数据从表传输到blob,使得从早上7点到早上8点添加到表中的数据应该从上午8点开始在活动窗口中推送到blob。换句话说,我不想错过任何流入表格的数据。

1 个答案:

答案 0 :(得分:2)

我更改了用于从azure表中提取数据的查询。

"azureTableSourceQuery": "$$Text.Format('PartitionKey gt \\'{0:yyyyMMddHH} \\' and PartitionKey le \\'{1:yyyyMMddHH}\\'', Time.AddHours(WindowStart, -2), Time.AddHours(WindowEnd, -2))"

此查询将获取2小时后添加到表中的数据,因此我不会错过任何数据。