天蓝色数据工厂数据集清理

时间:2017-04-04 17:18:58

标签: azure azure-data-factory

有没有人告诉我如何清理(删除,删除等)Azure数据工厂数据集。是否有任何政策或设置来控制它?

据我所知,所有时间序列的数据集都完好无损。

说,我想开发一个活动,每天覆盖Azure Blob或Data Lake存储中的目标文件夹中的数据(例如,它映射到Azure Datawarehouse中的外部表,它是一个完整的数据提取)。如何通过复制活动实现这一目标?我应该添加自定义.Net活动来自行清理不再需要的数据集吗?

1 个答案:

答案 0 :(得分:0)

是的,您需要一个自定义活动来删除pipepline输出。 您可以拥有覆盖相同输出的管道活动,但您必须小心了解ADF切片模型和活动依赖关系的工作原理,以便使用输出的任何内容都能获得清晰且可重复的集合。