我的管道具有AzureBLOB类型的源数据集。
这是每小时数据集,因此管道不断拉动每小时切片。但问题是许多源切片文件都是零大小。但是管道继续这样做并取得成功。我不希望这样。
同时我不想硬编码管道中的任何“最小”尺寸政策 (我知道我们可以为管道提供一些这样的设置)。
我只想说“管道应该只处理非零大小的文件,没有>重要的是什么大小。我们如何确保这一点?基本上切片应该重试>并且最终失败如果切片文件的大小为零。
答案 0 :(得分:0)
您可以创建自定义C#活动,以检查Azure Blob中是否有活动数据,并根据您可以继续管道的结果
https://azure.microsoft.com/en-us/documentation/articles/data-factory-use-custom-activities/