Azure Data Factory v2数据转换

时间:2018-05-19 18:34:45

标签: json oracle azure azure-data-factory-2

我是Azure Data Factory的新手。我的问题是,我需要将数据从内部部署的Oracle和内部部署的SQL Server移动到Blob存储。数据需要转换为JSON格式。每行作为一个JSON文件。这将被移至事件中心。我怎样才能做到这一点。任何建议。

2 个答案:

答案 0 :(得分:0)

作为azure数据工厂的一部分的Data copy tool是将场所数据复制到azure的选项。 数据复制工具附带一个配置向导,您可以在其中执行所有必需的步骤,如配置源,接收器,集成管道等。 在源代码中,您需要编写自定义查询以从json格式所需的表中获取数据。

如果SQL服务器选择json,您可以使用选项OPENJSON, FOR JSON AUTO将行转换为json。在SQL 2016中受支持。对于旧版本,您需要探索可用的选项。最糟糕的情况是,您可以在C#/ java中编写一个简单的控制台应用程序来获取行,然后将它们转换为json文件。然后您可以将文件上传到azure blob存储。如果这是一次性活动,则此选项应该有效,您可能不需要数据工厂。

如果是ORACLE,您可以使用JSON_OBJECT功能。

答案 1 :(得分:0)

您可以使用查找活动+ foreach活动。在foreach内部,有一个复制活动。请参考这篇文章。 How to copy СosmosDb docs to Blob storage (each doc in single json file) with Azure Data Factory