Azure数据工厂复制活动将字符串(从csv)映射到Azure SQL表接收器uniqueidentifier字段失败

时间:2018-07-19 00:26:39

标签: azure azure-data-factory

我有一个包含复制活动的Azure数据工厂(DF)管道。复制活动使用HTTP连接器作为源来调用REST端点,并返回沉入Azure SQL数据库表的csv流。

当CSV包含包含错误消息40f52caf-e616-4321-8ea3-12ea3cbc54e9的字符串(例如The given value of type String from the data source cannot be converted to type uniqueidentifier of the specified target column)映射到目标表中的uniqueIdentifier字段时,复制失败。

我尝试用{}(例如{40f52caf-e616-4321-8ea3-12ea3cbc54e9})包裹源字符串,但没有成功。

如果我将目标表字段从uniqueIdentifier修改为nvarchar(100),则复制活动将起作用。

1 个答案:

答案 0 :(得分:0)

我会重现您的问题。

enter image description here

原因是源和接收器的数据类型不匹配。您可以检查Data type mapping for SQL server

enter image description here

您的源数据类型是uniqueidentifier,它已映射到nvarchar或varchar,并且sql数据库中的GUID在天蓝色数据工厂中需要stored procedure类型。

因此,请在sql服务器接收器中配置sql server CREATE TYPE [dbo].[CsvType] AS TABLE( [ID] [varchar](256) NOT NULL ) 作为解决方法。

请按照此doc中的步骤操作:

第1步:配置您的接收器数据集:

enter image description here

步骤2:在复制活动中配置接收器部分,如下所示:

enter image description here

第3步:在数据库中,定义与sqlWriterTableType相同名称的表类型。请注意,表类型的架构应与输入数据返回的架构相同。

Create PROCEDURE convertCsv @ctest [dbo].[CsvType] READONLY
AS
BEGIN
  MERGE [dbo].[adf] AS target
  USING @ctest AS source
  ON (1=1)
  WHEN NOT MATCHED THEN
      INSERT (id)
      VALUES (convert(uniqueidentifier,source.ID));
END

步骤4:在数据库中,定义与SqlWriterStoredProcedureName相同名称的存储过程。它处理来自指定源的输入数据,并合并到输出表中。请注意,存储过程的参数名称应与数据集中定义的“ tableName”相同。

{{1}}

输出:

enter image description here

希望它对您有帮助。任何关注,请随时让我知道。