Azure架构可将大量XML文件可靠地导入Azure SQL表

时间:2016-04-13 17:40:57

标签: azure azure-sql-database azure-storage-blobs

我正在寻找将大量XML文件导入SQL Azure表的架构元素和指南。

以下是XML文件格式和输入的特征:

  • xml文件不大。
  • XML文件的架构非常简单且定义良好。
  • 正在存在大量的XML文件 每次都复制到blob存储中 小时。

我希望将Azure Stream Analytics与BLOB存储输入结合使用,作为完美的解决方案。但是,Azure Stream Analytics不支持XML格式:(

我非常了解SSIS选项;但是,SSIS是一个IaaS,我正在寻找基于Azure的PaaS选项。

我的Azure PaaS架构选项有哪些?

2 个答案:

答案 0 :(得分:1)

建议的解决方案是使用Azure数据工厂在Stream Analytic提取之前执行数据转换,尽管Data Factory也很乐意将数据直接发送到SQL表中。

有一篇很好的博客文章Solving the “big legacy data” problem using Azure Data Factory…可以解释这一切。

答案 1 :(得分:0)

你能不能直接把它写到SQL DB? SQL DB中的XML数据类型功能应该足以进行解析。这提供了一些示例代码:http://www.sqlserver.info/syntax/parse-xml-with-sql-server/

如果您不控制Blob存储的上游,那么您可以使用一些选项来跟踪更改并将数据泵送到SQL DB。最简单的可能只是绑定到Blob的WebJob:这应该可以帮助您入门:https://github.com/Azure/azure-webjobs-sdk-samples/tree/master/BasicSamples/BlobOperations

中仍有一些延迟

HTH。