使用Azure数据工厂复制活动,是否可以将当前SliceStart作为目标表存储实体的属性输出?

时间:2016-02-10 17:09:47

标签: azure azure-data-factory

我正在使用Azure Data Factory的复制活动从日常文件夹中获取Blob存储中的分隔文本文件。列将映射并复制到表存储实体。这一切都很有效。

我希望每组实体都使用正确的数据切片(SliceStart)进行分区,理想情况下是复合分区键(SliceStart加上一些其他附加属性)的一部分,或者失败,表实体本身的属性。

这是管道中的下一步(.NET自定义活动)可以获取正确的每日数据集。我知道我可以将当​​前的SliceStart作为扩展属性传递给.NET自定义活动,但是这个Activity如何使用SliceStart值来查询表存储数据以仅隔离匹配日的实体?

我无法可靠地使用TimeStamp,因为切片可能会排队或延迟,然后在同一天处理多个切片。在这种情况下,它们都具有相同的TimeStamp,因此我无法区分不同的日子。

1 个答案:

答案 0 :(得分:0)

使用ADF V2,您可以实现此目的。使用azureTableDefaultPartitionKeyValue属性的表达式。如果您使用schedule trigger,则将trigger()。scheduledTime传递给它。您也可以使用tumbling window trigger