SSIS For Each Item Loop在递归过程中读取相同文件

时间:2018-12-18 17:45:26

标签: sql-server recursion ssis

我一直在尝试使用For Each Item循环使用几种方法(VB脚本,直接通过平面文件连接为每个循环引入文件甚至执行cmd行扫描的处理任务)来提取文件列表。 >

我注意到的是,启用数据查看器后,我倾向于多次列出同一文件。

这对于SSIS /对于每个循环来说是常见的吗?

此外,当我尝试将此列表导入SQL表(在过滤出重复项之后)时,我仅收到清单中的文件的部分列表。

我必须假定对我的变量的递归存在问题,导致该变量在多次“传递”中都持有相同的文件/路径。

这是我的尝试... 对于每个 enter image description here

变量映射 enter image description here

用于插入的SQL语句 enter image description here

参数映射 enter image description here

变量

enter image description here

1 个答案:

答案 0 :(得分:0)

看起来问题出在NAS的某种限制上。 最终将执行过程任务与cmd.exe和参数一起使用。
似乎任何运行得更快的东西都会导致数据问题。

测试摘要是否可以帮助某人:

  1. 使用cmd =最快的w /完整数据执行流程
  2. 使用Power Shell =(获取子项)执行慢的过程,需要完整的数据
  3. 使用Power Shell =(枚举文件)执行过程最快,数据丢失
  4. 每个循环的SSIS =缓慢的不稳定数据(重复和丢失)