是否可以使用数据工厂从数据湖中删除文件？

Question

是否可以使用数据工厂从datalake删除文件？ 我很难做到这一点。

Answer 1

无法使用Data Factory删除文件。我发现Data Factory的主要目的是ETL编排。

如果您熟悉.NET / Java编码，建议您创建一个从ADF调用的Azure函数，它将删除文件。 ADF现在支持Azure函数（无需使用HTTP触发器/ Web组件）

Data Lake上有一个用于文件操作的SDK，其中包含Delete方法，该方法从Data Lake Store中删除文件。 看看这个文档： https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-operations-net-sdk#see-also

删除方法： https://docs.microsoft.com/en-us/dotnet/api/microsoft.azure.datalake.store.adlsclient.delete?view=azure-dotnet

无论您从ADF到Azure Function，都可以将文件路径作为请求参数/标头传递。 希望这个建议对您有用。

Answer 2

您最好的选择是创建一个Azure批处理。

https://docs.microsoft.com/en-us/azure/batch/

您可以创建一个应用程序来删除文件，然后从数据工厂中调用它。 您也可以将文件作为参数传递。