将数据从Azure Blob存储复制到ADLs Gen 2

Question

我在azure blob存储中有大约200万个json文件，每个文件包含一条记录，我需要将所有这些json文件移到created大于2019-01-01的adls gen 2中。

注意：createdate是json内的字段之一。

是否可以通过azure数据工厂实现这一目标

Answer 1

是的，您需要使用查询来执行此操作。首先，请把数据放在可以进行数据分析的空间中。

首先，创建一个 copy activity1 （将数据从azure blob存储复制到sql数据库），然后创建一个 copy activity2 （将数据从sql数据库复制到adls gen2。 ）

在复制活动2的来源中，请执行以下操作：

select *  
from dbo.test1 A 
where A.createdate >= '2019-01-01'

我已经进行了测试，并且工作正常。请尝试一下。