将动态表列展开为键值行

时间:2015-06-11 22:46:12

标签: sql-server tsql data-migration unpivot cross-apply

我需要解决的问题是从具有许多动态字段的一个表到其他结构化键值表的数据传输。 第一个表来自另一个系统的数据导出,并具有以下结构(它可以包含任何列名和数据): [UserID],[FirstName],[LastName],[Email],[你今天过得怎么样],[你想收到每周通讯],[确认你是18岁以上] ......

第二个表是我想放置数据的地方,它具有以下结构: [UserID uniqueidentifier],[QuestionText nvarchar(500)],[问题答案nvarchar(max)]

我看到很多示例显示如何取消表格,但我的问题是我不知道表1将包含哪些列。我可以以某种方式动态地忽略第一个表,因此无论它有什么列,它都会转换为键值结构并将数据导入第二个表。

我将非常感谢您对此的帮助。

1 个答案:

答案 0 :(得分:0)

如果不知道列,则无法在一个查询中进行透视或忽略。

假设您拥有权限,您可以执行的操作是查询sys.columns以获取源表的字段名称,然后动态构建一个unpivot查询。

--Source table
create table MyTable (
    id int,
    Field1 nvarchar(10),
    Field2 nvarchar(10),
    Field3 nvarchar(10)
);

insert into MyTable (id, Field1, Field2, Field3) values ( 1, 'aaa', 'bbb', 'ccc' );
insert into MyTable (id, Field1, Field2, Field3) values ( 2, 'eee', 'fff', 'ggg' );
insert into MyTable (id, Field1, Field2, Field3) values ( 3, 'hhh', 'iii', 'jjj' );

--key/value table
create table MyValuesTable (
    id int,
    [field] sysname,
    [value] nvarchar(10)
);



declare @columnString nvarchar(max)

--This recursive CTE examines the source table's columns excluding
--the 'id' column explicitly and builds a string of column names
--like so: '[Field1], [Field2], [Field3]'.

;with columnNames as (
  select column_id, name
  from sys.columns 
  where object_id = object_id('MyTable','U')
    and name <> 'id'
),
columnString (id, string) as (
  select
    2, cast('' as nvarchar(max))
  union all
  select
    b.id + 1, b.string + case when b.string = '' then '' else ', ' end + '[' + a.name + ']'
  from
    columnNames a
    join columnString b on b.id = a.column_id
)
select top 1 @columnString = string from columnString order by id desc

--Now I build a query around the column names which unpivots the source and inserts into the key/value table.
declare @sql nvarchar(max)
set @sql = '
insert MyValuestable
select id, field, value
from
  (select * from MyTable) b
unpivot
  (value for field in (' + @columnString + ')) as unpvt'

--Query's ready to run.
exec (@sql)

select * from MyValuesTable

如果您从存储过程获取源数据,可以使用OPENROWSET将数据放入表中,然后检查该表的列名。此链接显示了如何执行该部分。 https://stackoverflow.com/a/1228165/300242

最后注意事项:如果您使用临时表,请记住您从tempdb.sys.columns获取列名称,如下所示:

select column_id, name
from tempdb.sys.columns 
where object_id = object_id('tempdb..#MyTable','U')