使用pentaho数据集成加载事实表 - 减少ktr的运行时间

Question

我使用pentaho DI将数据插入事实表。但事情是我填充的表包含10000个记录并且每天增加。

在我的填充表中包含10,000条记录，并添加了新的200条记录，然后我需要运行ktr，如果我正在运行ktr文件，那么它再次从事实表中截断所有10,000条数据并开始插入新的10,200条记录。 / p>

为了避免这种情况，我在表输出步骤中取消选中了truncate选项，并在事实表中将一个键设置为唯一，并选中Ignore inputs error选项。现在它工作正常，只插入200条记录，但它占用相同的执行时间。

我在ktr中尝试了流查找步骤，但是我的执行时间没有变化。

请任何人帮我解决这个问题。

提前致谢。

Answer 1

如果您需要捕获所有插入，更新和删除，Merge Rows Diff步骤后跟Synchronize after Merge步骤将执行此操作，通常会很快完成。