从大型Data Lake存储读取时发生错误

时间:2019-07-12 09:56:55

标签: ssis azure-data-lake

我有一个SSIS包,它通过称为Azure Data Lake Store Source Editor的组件从Azure Data Lake读取Web数据。

我正在读取的数据很大,并且是基于Web的数据,即其中包含许多不可读的内容。

数据是JSON,我不想解析Source组件中的数据。我在另一个组件(脚本转换编辑器)中对其进行解析。我只需要一个表示SSIS的定界符就不要尝试解析数据。

一两个小时都可以。 SSIS正在加载许多文件的数据,但随后出现错误。

错误:

Microsoft.SqlServer.Dts.Pipeline.PipelineComponentHResultException (0xC02090F5): Pipeline component has returned HRESULT error code 0xC02090F5 from a method call. at Microsoft.SqlServer.IntegrationService.AdlsComponents.PipelineComponentSource.TransferToOutputBuffers(Int32 outputs, Int32[] outputIDs, PipelineBuffer[] buffers)

经过一番调查,我发现这是分隔符是数据的一部分时得到的结果。

我几乎在ASCII表中尝试过的每个字符,经过一些处理后仍然出现错误。

您有什么想法:

  • 是否可以绕过定界符?

  • 您是否可以推荐一个永远不能用作数据的分隔符(可能是一些控制字符)?

感谢阅读和考虑

0 个答案:

没有答案