使用接收器Datalake的Azure数据工厂复制数据架构映射

Question

我有一个简单的管道，带有copydata。我正在尝试将数据从sql拉到数据湖。我创建了两个数据集，一个用于sql，另一个用于datalake。

在运行管道时，数据集中定义的数据湖架构将被覆盖，并且列具有字符串数据类型。

我试图在此处更改架构数据类型，并在运行管道之后将它们覆盖在数据集中。

Schema Mapping in CopyData

DataSet Schema definition

Answer 1

当我们将数据从SQL复制到Azure Data Lake Storage时，无论SQL Source数据集中的列数据类型是什么，在Data Lake Storage Sink数据集中所有数据都将更改为String。 Sink数据集将创建一个平面文件（txt，json等）来存储数据。

例如，当您从csv文件中复制数据作为“源”数据集时，从源文件导入架构时，所有列数据类型均为“字符串”。我们只能在SQL Sink数据集架构映射期间更改这些String列数据类型。

使用接收器作为Data Lake Storage时，我们无法更改日期集的数据类型。

希望这会有所帮助。