（1）使用别名构建源SQL命令

Question

我必须通过SSIS从.dbf文件上传SQL Server中的数据。我的输出列是固定的，但输入列不是固定的，因为文件来自客户端，并且客户端可能会按照自己的样式更新数据。可能还有一些未使用的列，或者输入列的名称可能与输出列的名称不同。

我想到的一个主意是将SQL数据库表中的文件输入列与输出列进行映射，并仅使用文件ID行中存在的那些列。

但是我不知道该怎么做。你能建议我做同样的事情吗，否则你有什么主意吗？

表格示例。

+--------+---------------+--------------+--------+ | FileID | InputColumn | OutputColumn | Active | +--------+---------------+--------------+--------+ | 1 | CustCd | CustCode | 1 | +--------+---------------+--------------+--------+ | 1 | CName | CustName | 1 | +--------+---------------+--------------+--------+ | 1 | Address | CustAdd | 1 | +--------+---------------+--------------+--------+ | 2 | Cust_Code | CustCode | 1 | +--------+---------------+--------------+--------+ | 2 | Customer Name | CustName | 1 | +--------+---------------+--------------+--------+ | 2 | Location | CustAdd | 1 | +--------+---------------+--------------+--------+

Answer 1

如果创建类似的表，则可以通过2种方法使用它来在SSIS包内动态映射列，或者必须以编程方式构建整个包。在此答案中，我将尝试为您提供一些有关如何执行此操作的见解。

（1）使用别名构建源SQL命令

注意：仅当所有.dbf文件的列数相同但名称不同时，此方法才有效

使用这种方法，您将基于创建的FileID和Mapping表生成将用作源的SQL命令。您必须知道FileID和.dbf文件路径存储在变量中。例如：

假定表名称为inputoutputMapping

使用以下命令添加执行SQL任务：

DECLARE @strQuery as VARCHAR(4000)

SET @strQuery = 'SELECT '

SELECT @strQuery = @strQuery + '[' + InputColumn + '] as [' + OutputColumn + '],'
FROM inputoutputMapping
WHERE FileID = ?

SET @strQuery = SUBSTRING(@strQuery,1,LEN(@strQuery) - 1) + ' FROM ' + CAST(? as Varchar(500))

SELECT @strQuery

然后在“参数映射”选项卡中，选择包含要映射到参数0的FileID的变量，以及包含参数{{1}的.dbf文件名（替代表名）的变量。 }

将ResultSet类型设置为1，并将ResultSet Single Row存储在字符串类型的变量中，例如0

ResultSet值将如下：

@[User::SourceQuery]

在SELECT [CustCd] as [CustCode],[CNAME] as [CustName],[Address] as [CustAdd] FROM database1中，从“变量”中选择“ SQL命令的表访问模式”，然后使用OLEDB Source变量作为源。

（2）使用脚本组件作为源

在这种方法中，必须在数据流任务中使用脚本组件作为源：

首先，如果您不想对其进行硬编码，则需要通过变量将.dbf文件路径和SQL Server连接传递给脚本组件。

在脚本编辑器中，您必须为在目标表中找到的每个列添加一个输出列，并将它们映射到目标。

在脚本内部，您必须将.dbf文件读入数据表：

将数据加载到数据表中后，还用在SQL Server中创建的MappingTable中找到的数据填充另一个数据表。

之后，循环遍历datatable列，并将@[User::SourceQuery]更改为相关的输出列，例如：

.ColumnName

循环遍历数据表中的每一行并创建脚本输出行。

此外，请注意，在分配输出行时，必须检查该列是否存在，您可以首先将所有列的名称添加到字符串列表，然后使用它进行检查，例如：

foreach (DataColumn col in myTable.Columns)
    {

    col.ColumnName = MappingTable.AsEnumerable().Where(x => x.FileID = 1 && x.InputColumn = col.ColumnName).Select(y => y.OutputColumn).First(); 

    }

如果您需要有关使用脚本组件作为源的更多详细信息，请检查以下链接之一：

（3）动态构建程序包

我不认为可以使用其他方法来实现此目标，除非您可以选择动态构建程序包，然后选择：

（4）SchemaMapper：C＃模式映射类库

最近，我在Git-Hub上启动了一个新项目，该项目是使用C＃开发的类库。您可以使用它使用架构映射方法将Excel，Word，Powerpoint，文本，CSV，HTML，JSON和xml中的表格数据导入具有不同架构定义的SQL Server表中。在以下位置查看：

SchemaMapper: C# Schema mapping class library

您可以按照此Wiki页面获取逐步指南：

Import data from multiple files into one SQL table step by step guide

如何在SSIS中动态映射输入和输出列？

1 个答案:

（1）使用别名构建源SQL命令

（2）使用脚本组件作为源

（3）动态构建程序包

（4）SchemaMapper：C＃模式映射类库