当并行作业之一失败时，DataStage回滚数据

Question

当前，我正在构建一个包含多个并行作业的作业。每个并行作业都将数据加载到数据库中。如果中途失败，则之前的并行作业将已经插入数据库中。如果中途失败，是否有任何方法可以回滚所有并行作业数据？谢谢。

Answer 1

不，从DataStage或ETL的角度来看，这不是概念。

对此有一些想法：

• 全部取消操作将导致您不得不重新进行全部操作，并且已经花费在滚动数据上的所有时间都将丢失，此外，您将花费大量时间来撤销它们。
• 如果出现故障，则从该点开始更精确地重新开始，然后尝试获取数据。通过设置检查点和可重新启动的序列，DataStage序列对此提供了支持。
• 由于您通常使用ETL工具处理的数据量和Datastages的管道概念，因此整体作业事务处理的选择非常有限。通常仅限于“加载”部分，您可以在该部分之后提交2000行（以免在数据库中引起日志问题）