在SSIS中对动态列大于2gb的平面文件求平均

Question

我需要总结一个巨大的csv文件，该文件是另一个进程的输出。该文件各不相同，并且可以具有不同的头。每个文件在col1中都有一个字符串字段，在col 2中有一个外观数字（整数），然后是cols 3到x的十进制数，其中x和标题一样变化。 col1对每个循环重复一次。

我需要对第3列中的所有内容进行平均。

我知道我可以为每个文件建立一个静态的平面文件连接，但是我正在寻找一种方法来使该文件对任何相同格式的文件自动运行。其中一些高达5GB。

这有可能吗？

我正在使用SSIS版本2012 atm。

谢谢！

Answer 1

如果没有为您概述有关数据如何变化的业务规则，由于文件的动态性质，这种数据加载将非常危险。

由于SSIS基于刚性（非流体）元数据描述符进行操作，因此我认为这种努力并非最适合SSIS。