SSIS中的Excel:当DT_NTEXT导致失败时,如何导入可能超过255个字符的列?

时间:2015-01-28 18:40:52

标签: excel ssis jet

好的,所以我的最新项目需要将Excel 2007电子表格加载到SQL Server表中。我在SSIS 2008R2工作。基于我在互联网上找到的一些东西,我在高级编辑器中打开了Excel源代码,并将长列的数据类型更改为DT_NTEXT,这样它就不会截断它。然后我创建了数据库列VARCHAR(MAX)。这在我的笔记本电脑上以调试模式正确运行。

然后我将其部署到开发服务器并尝试加载相同的测试文件。它失败并显示以下错误消息:

Error: Code: 0xC0208265
       Source: Main Data Flow Task Get Main Data [1]
       Description: Failed to retrieve long data for column "DESCR".
End Error
Error: Code: 0xC020901C
       Source: Main Data Flow Task Get Main Data [1]
       Description: There was an error with output column "DESCR" (72) on output "Excel Source Output" (9). The column status returned was: "DBSTATUS_UNAVAILABLE".
End Error
Error: Code: 0xC0209029
       Source: Main Data Flow Task Get Main Data [1]
       Description: SSIS Error Code DTS_E_INDUCEDTRANSFORMFAILUREONERROR.  The "output column "DESCR" (72)" failed because error code 0xC0209071 occurred, and the error row disposition on "output column "DESCR" (72)" specifies failure on error. An error occurred on the specified object of the specified component.  There may be error messages posted before this with more information about the failure.
End Error

搜索有关错误的信息,我发现大约有一百万个网站提供相同的三个建议解决方案:

  1. 添加' IMEX = 1'连接字符串的扩展属性 它已经存在了。

  2. 更改注册表中的TypeGuessRows键 这在服务器上设置为零,我理解这意味着它应该查看整个文件。不过,我将它改为8以匹配我的笔记本电脑。我再次运行时发生了同样的错误。然后我将其更改为1,763,这超过了电子表格中的行数。它仍然给出了同样的错误。所以,我把它归还为零。 (在我的测试文件的第一行中有一个1,900个字符的值,所以在这种情况下检查它的数量并不重要。)

  3. 在源中将数据类型更改为DT_WSTR(4000) 该列应该有多达10,000个字符,因此我不确定这是否是一个好主意,即使它有效。但是,无论如何我试过了。这次它给了我一个截断错误。我将截断错误处置更改为"忽略失败"它加载了数据,但是将值截断为255个字符。我已经验证了长度为4000并且在保存文件时没有更改,但它仍然截断为255个字符。

  4. 我不知道还有什么要看的。任何帮助将不胜感激。

    更新1/29:在预生产服务器上运行时,包没有任何更改,可以正常工作。在开发服务器上运行时仍然会失败。两台服务器都具有相同版本的SSIS(包括次要版本号)以及相同版本的Windows,Access和Excel。我不知道如何解释这一点,也不知道如何判断它是否适用于生产。

2 个答案:

答案 0 :(得分:0)

我创建了一个具有类似非功能性要求的新软件包(Excel 2007文件,SSIS 2008,SQL Server 2008 R2,VARCHAR(MAX)目标列),并且在部署到数据库服务器后它工作得很好。我的包裹:

  1. Excel源组件输出中的元数据(使用高级编辑器检查):DT_NTEXT
  2. 源和目标之间的派生列组件,使用(DT_TEXT,1252)从unicode强制转换为非unicode
  3. OLE DB目标组件输入的元数据(使用高级编辑器检查):DT_TEXT
  4. 目标列数据类型:VARCHAR(MAX)
  5. 我没有在连接中明确使用扩展属性IMEX
  6. 通过右键单击数据库服务器上的程序包执行,并将每个记录带有几千个字符的文件加载到表中而不进行截断。希望这有帮助

答案 1 :(得分:0)

我在导入包含超过255个字符的字段的excel文件时遇到了这个问题。我使用Python解决了这个问题。

简单地,将Excel导入到熊猫数据框中,然后计算每行中每个字符串值的长度。

然后,按降序对数据框进行排序。这将使SSIS在扫描前3行以分配存储空间时为其分配最大空间:

df = pd.read_excel(f,sheet_name=0,skiprows = 1)
df = df.drop(df.columns[[0]], axis = 1)
df['length'] = df['Item Description'].str.len()
df.sort_values('length', ascending=False, inplace=True)
writer = ExcelWriter('Clean/Cleaned_'+f[5:])
df.to_excel(writer,sheet_name='Billing',index=False)
writer.save()