遍历数据工厂中的文件

Question

我有一个Datalake第1代，其文件夹结构为/ Test / {currentyear} / {文件}

{文件} 格式示例 2020-07-29.csv 2020-07-30.csv 2020-07-31.csv

每天都有一个新文件添加到该文件夹​​。

我需要创建ADF才能将文件加载到SQL Server中。 条件

1. 我的ADF首次运行时，它需要迭代所有文件并加载到sql服务器中
2. 从第二次（每天一次）开始执行ADF时，只需要提取今天的文件并加载到SQL Server中即可。

谁能告诉我如何在上述条件下设计ADF

Answer 1

这应该设计为两个部分。

我的ADF第一次运行时，它需要迭代所有文件并 加载到sql服务器中

您应该创建一个临时管道来实现此目的。（我认为您知道如何执行此操作，因此我将不讨论这部分。）

从第二次（每天一次）开始执行ADF时，需要 仅获取今天的文件并加载到SQL Server

因此，这需要您创建另一个连续运行的管道。

要实现这一点有两点：

首先，通过事件触发器触发此管道。（文件上传后，触发此管道。）

第二，按特定格式过滤文件：

根据您的要求，表达式应为@{formatDateTime(utcnow(),'yyyy-MM-dd')}。

在我这方面，我可以成功地做到这一点。请尝试一下。