USQL输出器写入SQL数据库

时间:2018-02-05 23:21:45

标签: azure azure-sql-database azure-data-lake

我们有一个Azure进程调用API并获取json文件。我们将这个json存储在Data Lake Store上。然后我有一个USQL活动读取该文件,我想将该数据存储在Azure上的SQL服务器数据库上(不要与Data Lake Analytics数据库混淆:我们的目标是常规SQL数据库)。

我无法(并且我不确定是否可能)只读取json并存储在数据库中。我认为,如果它甚至可能,那么我应该做的是创建一个自定义输出器来将数据发送到数据库,但没有找到任何关于如何通过谷歌搜索来做到这一点。我所发现的是this article我并不完全理解,也不知道它是否适用于我的情况,因为我正在使用所有数据工厂功能的v2。文章在某些时候说

  

因此,将结果写入SQL数据库的模型是将输出写入ADLS,然后使用ADF或其他复制机制将数据加载到SQL中。

所以我的问题是,我可以使用自定义输出器将数据从数据湖存储中的json文件加载到SQL数据库中吗?如果是的话,怎么样?

1 个答案:

答案 0 :(得分:4)

Data Lake Analytics无法连接到外部服务,例如Azure SQL。您应该使用数据工厂。如果您的结构不是太复杂,数据工厂可以使用json文件。如果JSON不平坦且您需要进行更复杂的提取,则可以首先使用U-SQL脚本将数据输出到Data Lake Analytics中的csv。然后,您可以将其导入您的(Azure)SQL数据库。您可以在Azure过程完成后触发数据工厂管道。