Datastage增量充电

Question

• 我们想在DataStage中（在并行环境中）执行增量加载。精确地仅加载上次加载和新加载之间的增量（用于在DWH中创建，更新，删除记录）。

• 我们希望存储上一次加载期间恢复的最后一个密钥，以便能够从新记录的下一条记录中重新启动请求。

• 我们已经成功使用参数在运行时过滤SQL负载查询。不幸的是，我们尚未找到检索最后一个键（最大（Key）-Aggregator？）并将其存储在此参数中的可能性。

• 使用哪个阶段，在同一并行作业中输出单个值，然后存储到参数？

有什么想法吗？

感谢您的帮助。

Answer 1

考虑从目标中获取最大值-它很可能是数据库，并且max（）易于实现。

查看我有关getting some data from the "stream" to a parameter的帖子

Answer 2

谢谢迈克尔，

我发现Head阶段可以在同一作业中获得max（LastRowId），其中“所有行（跳过后）= False），并且行数（每个分区）= 1。然后以顺序模式运行该工作...

那很好。