来自Azure数据工厂的API访问

时间:2018-09-28 05:09:44

标签: azure-data-factory

  1. 我想创建一个ADF管道,该管道需要访问API,并使用一些过滤器参数,它将从那里获取数据并将输出以JSON格式写入DataLake中。我该怎么办?

  2. 在Lake中可用的JSON之后,需要将其转换为CSV文件。怎么办?

2 个答案:

答案 0 :(得分:2)

您可以创建一个管道,该管道具有从HTTP连接器到Datalake连接器的复制活动。使用HTTP作为访问API(https://docs.microsoft.com/en-us/azure/data-factory/connector-http)的复制源,将数据集中的格式指定为JSON。关于如何定义架构的参考https://docs.microsoft.com/en-us/azure/data-factory/supported-file-formats-and-compression-codecs#json-format。使用Datalake连接器作为复制接收器,将格式指定为“文本”格式,然后根据需要进行一些修改,例如行定界符和列定界符。

答案 1 :(得分:0)

以下工作可能符合您的要求:

  1. 在ADFv2中涉及Copy activity,其中源数据集为HTTP data store,而目标数据集为Azure Data lake store,HTTP源数据存储库允许您通过调用API来获取数据,并且复制活动将将数据复制到目标数据湖中。
  2. 在“复制”活动之后绑定一个U-SQL activity,一旦“复制”活动成功,它将运行U-SQL脚本将json文件转换为CSV文件。