从本地文件服务器到Azure Data Lake的文件的增量加载

Question

我们希望使用Azure Data Factory v2从我们的本地文件服务器向Azure Data Lake增量加载文件。

文件应该每天存储在本地文件服务器中，我们必须在白天定期运行ADFv2管道，并且只应捕获文件夹中新的未处理文件。

Answer 1

我们的建议是将每日摄取的文件集放入/ YYYY / MM / DD目录。您可以参考此示例，了解如何使用系统变量（@trigger（）。scheduledTime）从相应目录中读取文件：

https://docs.microsoft.com/en-us/azure/data-factory/how-to-read-write-partitioned-data

Answer 2

在源数据集中，您可以执行文件过滤。您可以按时间执行此操作（例如，以表达式语言调用datetime函数）或其他将定义新文件的内容。 https://docs.microsoft.com/en-us/azure/data-factory/control-flow-expression-language-functions 然后使用预定的触发器，您可以在白天执行n次管道。