PDI-即使发生错误,如何保持Transformation运行?

时间:2018-08-30 04:00:41

标签: kettle pentaho-data-integration pdi

我进行了一个转换,其中包含几个步骤,这些步骤可以使用Windows Task Scheduler通过批处理脚本运行。

有时候第一步或n步失败,它会停止整个转换。

我希望转换能够从头到尾运行,而不管任何错误,以任何方式做到这一点?

2 个答案:

答案 0 :(得分:3)

1)一种方法是“错误处理”,但是并非所有步骤都可用。您可以右键单击该步骤,然后检查错误处理选项是否可用。

2)如果由于数据类型不正确而出错,例如:您期望一个整数值,并且对于某些特定记录,您可能会得到字符串值,因此可能会失败,对于这种情况,可以使用数据验证步骤。

基本上,您可以基于已创建的转换来实现逻辑。以上是一些常规方法。

答案 1 :(得分:1)

这就是您所说的“错误处理”。尽管您的转换运行时会出现一些错误,但是您仍然希望您的转换继续运行。

情况:         -数据流中的数据类型问题。                  例如:说您有一个X数据类型为整数的列,但错误地得到了字符串值。然后您可以定义错误处理以捕获所有这些记录。         -在处理json数据时。                  例如:您提到的用于检索json字段值的路径,并且对于某些数据节点,该路径无法识别或丢失它。您可以定义错误处理以捕获所有缺少的路径详细信息。         -而更新表              -如果使用某些键更新表,并且由于输入流中的键而导致键不可用,则会发生错误。您还可以在此处定义错误处理。