防止在零大小的源切片文件上运行切片

时间:2016-09-23 20:43:43

标签: azure-data-factory

我的管道具有AzureBLOB类型的源数据集。

这是每小时数据集,因此管道不断拉动每小时切片。但问题是许多源切片文件都是零大小。但是管道继续这样做并取得成功。我不希望这样。

同时我不想硬编码管道中的任何“最小”尺寸政策 (我知道我们可以为管道提供一些这样的设置)。

  

我只想说“管道应该只处理非零大小的文件,没有>重要的是什么大小。我们如何确保这一点?基本上切片应该重试>并且最终失败如果切片文件的大小为零。

1 个答案:

答案 0 :(得分:0)

您可以创建自定义C#活动,以检查Azure Blob中是否有活动数据,并根据您可以继续管道的结果

https://azure.microsoft.com/en-us/documentation/articles/data-factory-use-custom-activities/