Pentaho Kettle - 从不同的数据库中检索数据

Question

我有一个场景，我从一个数据库（postgres）获取数据并将数据加载到另一个数据库（Redshift）中的表中

Kettle有没有安排这份工作？

简单insert into redshift select * from postgres

Answer 1

使用“表输出”步骤可能会非常缓慢，因为Redshift针对批量插入进行了优化，而不是逐行插入。 AFAIK，Kettle中没有用于批量插入Redshift的步骤/插件。您可以做的是在Shell步骤中创建一个脚本：

1. 将数据从Postgres转储到文件
2. 将数据复制到S3：https://anotherreeshu.wordpress.com/2015/11/30/loading-data-to-aws-s3-bucket-pentaho-data-integration/
3. 将数据从S3插入Redshift：https://anotherreeshu.wordpress.com/2015/12/11/loading-data-from-s3-to-redshift-pentaho-data-integration/