来自Azure数据工厂的API访问

Question

1. 我想创建一个ADF管道，该管道需要访问API，并使用一些过滤器参数，它将从那里获取数据并将输出以JSON格式写入DataLake中。我该怎么办？

2. 在Lake中可用的JSON之后，需要将其转换为CSV文件。怎么办？

Answer 1

您可以创建一个管道，该管道具有从HTTP连接器到Datalake连接器的复制活动。使用HTTP作为访问API（https://docs.microsoft.com/en-us/azure/data-factory/connector-http）的复制源，将数据集中的格式指定为JSON。关于如何定义架构的参考https://docs.microsoft.com/en-us/azure/data-factory/supported-file-formats-and-compression-codecs#json-format。使用Datalake连接器作为复制接收器，将格式指定为“文本”格式，然后根据需要进行一些修改，例如行定界符和列定界符。

Answer 2

以下工作可能符合您的要求：

1. 在ADFv2中涉及Copy activity，其中源数据集为HTTP data store，而目标数据集为Azure Data lake store，HTTP源数据存储库允许您通过调用API来获取数据，并且复制活动将将数据复制到目标数据湖中。
2. 在“复制”活动之后绑定一个U-SQL activity，一旦“复制”活动成功，它将运行U-SQL脚本将json文件转换为CSV文件。