Pentaho：恢复转型

Question

最近我遇到了一个问题。导致它的转换具有一个“插入/更新”步骤，该步骤在具有超过2亿条记录的表上运行。与数据库服务器的连接丢失后，我手动重新运行了转换，在日志窗口中可以看到，该步骤重新检查了连接断开之前已经下载的记录。我了解这是该步骤的逻辑行为。但是我没有机会下载所有记录。有时，该过程在1500万记录后停止，有时在5000万记录后停止。 该如何处理？我考虑过自动增加主键值并在连接断开后保存最后的主键值。或在主键上对目标表的记录进行排序，找到间隙并使用间隙中的值恢复负载。但是Pentaho中是否有一些机制可以做到这一点？

Answer 1

Pentaho具有可以为作业启用的检查点，允许您在由于任何原因而停止的检查点重新启动作业。 https://help.pentaho.com/Documentation/8.2/Products/Data_Integration/Data_Integration_Perspective/Job_Checkpoints

但是，这在转换级别上不可用。关于使用序列或自动递增字段的想法可能是最好的选择。