pentaho的副本块如何处理重复数据？

Question

我试图通过Pentaho的复制表向导将我的MySQL数据库复制到HANA数据库。它自动创建了一个工作流程，但如果目标数据库部分填充，我会感到困惑，那么它会处理重复的行还是只是复制它们？

Answer 1

“复制表”向导不会分析重复项。它只是尝试将一堆insert语句运行到目标DB中。作为ETL开发人员，您的工作是确保过滤掉重复数据，或者在目标数据库上更新。检查插入/更新步骤。性能当然要低得多，因为每行将首先进行数据库查找，并根据查找结果发出插入或更新。