可以在Azure数据工厂管道中使用Python来读取和转换ADLS Gen1中存储的XML文件吗?

时间:2020-04-25 00:59:14

标签: python xml azure azure-data-factory azure-data-lake

我对Azure环境非常陌生,并且承担了涉及以下内容的POC的任务:

  1. 从Azure Data Lake Gen1目录读取XML文件
  2. 将每个文档转换为特定的列
  3. 将新行写入Azure SQL数据库

我发现ADF中的传统管道方法不适用于XML文档(可惜,MS!)。我确实有很多Python代码示例可读取文件夹,对其进行遍历,并将原始xml文件存储为本地db中的列。我必须编写转换-Python有一些相当不错的xml库。

最终,我们需要确定文件是否为新文件,并首先结合流程流程,但首先要考虑

我只是不确定如何在ADF中设计/构建它。是否会涉及Azure功能? 我已经尝试了Lookup和Get Metadata活动,但由于无法正确处理XML文件以及期望列标题而仍然遇到困难!

我已经看到了使用Azure Batch进行自定义活动的建议,但认为这太过分了。

希望有人已经走了这条路,并取得了成功。

谢谢您的时间。

0 个答案:

没有答案