通过Azure数据工厂将数据从Blob复制到SQL

时间:2020-06-10 10:31:36

标签: blob azure-data-factory dataflow azure-data-flow azure-data-factory-pipeline

我在Blob中有两个示例文件,分别为sample1.csv和sample2.csv,如下所示

data sample

SQL表名称sample2,具有列名称,id,姓氏,金额

创建了没有模式的ADF流,结果如下

preview data

源设置允许检查架构漂移。 接收器设置已打开自动映射。允许插入检查。表操作无。

我也尝试过在数据集中设置定义模式,其结果是相同的。

这里有什么帮助吗?

我的预期结果是将sample1中的数据插入“姓氏”列中的空值

2 个答案:

答案 0 :(得分:0)

您不能在同一数据流执行中在同一源中混合模式。

Schema Drift将在每次执行的基础上处理对模式的更改。

但是,如果您正在从文件夹中读取多个不同的架构,则会得到不确定的结果。

相反,如果您在ForEach管道中一对一地遍历这些文件,则数据流将能够处理不断发展的模式。

答案 1 :(得分:0)

如果我正确理解,您说:“我的预期结果将是sample1中的数据将在列last name中插入null”,您只需向您的sample1.csv文件中添加一个derived column

您可以按照我的步骤进行操作

  1. 我在Blob存储中创建了sample1.csv文件,并在SQL数据库中创建了sample2表: enter image description here enter image description here

  2. 使用DerivedColumn创建值为last name的新列null

表达式:toString(null()) enter image description here

  1. 接收器设置: enter image description here

  2. 运行管道并检查表中的数据: enter image description here

希望这会有所帮助。