在ODI12c中并行加载多个文件

时间:2019-05-27 11:59:48

标签: oracle-data-integrator

我正在ODI12c项目中工作。我有一个方案,其中我需要并行加载单个表中的多个文件。 我尝试通过文件列表并在ODI包中使用Loop,但是它以串行方式加载数据,即第一个文件然后第二个文件等。 请建议我应该如何并行加载数据。

3 个答案:

答案 0 :(得分:1)

如果要一次加载odi中的多个文件,可以将所有这些文件合并到一个文件中,然后一次加载。我正在考虑所有文件具有相同的结构。如果要分别加载它们,则为每个文件创建单独的模型将很麻烦,并且代码的可重复使用性也会受到影响。您可以以异步模式运行方案,以使它们独立运行。我相信这是我迄今为止最好的答案。

答案 1 :(得分:0)

我还有另一种方法可以实现这一目标:

  1. 创建一个用于加载文件的简单包。
  2. 创建另一个要调用另一个软件包的软件包。
  3. 将所有文件名加载到oracle表中,例如:

文件ID名称

1个文件1

2 File2

现在创建一个增量变量,其pull名称为第一个文件,然后为2。 现在,在另一个程序包中调用文件加载程序包并使它异步。

将具有文件名的增量变量传递到为加载文件而创建的模型中(资源名)。

每次变量变大时,它都会提取下一个文件,并为每次加载文件创建一个不同的会话。由于变量增加,每次加载文件可能会有1秒的间隔,我认为可以。

我希望您能找到可以帮助添加评论的方法。

答案 2 :(得分:0)

目标表是否已分区? 您可能遇到的瓶颈可能是由于目标位置是相同的物理存储。 对目标进行分区(或类似技术)可能会有所帮助