如何在Azure Data Factory中合并两个CSV文件

Question

我想使用每天更新的增量记录（增量文件位于blob中）来更新目标csv文件（位于Azure Data Lake Store中）。如果已存在的记录已更新，则我要在目标文件中更新该记录，或者如果增量记录是新记录，则要将该记录追加到Azure数据湖存储中的目标CSV文件中。我想使用Azure数据工厂，最好是使用ADF数据流来实现这一点。

我正在尝试使用Azure数据工厂数据流任务来执行此操作，但是我观察到可以在合并后创建新的目标文件，但无法更新现有文件。

请告知我是否有任何Powershell或其他任何方式可以更新目标文件

Answer 1

我们有一个示例模板，该模板向您展示如何使用ADF数据流从新文件更新现有文件。文件类型为Parquet，但也适用于CSV。

从“模板”转到“新建”>“管道”，然后查找“ Parquet CRUD操作”。您可以打开该数据流以查看其工作方式。