使用Apache Nifi将数据从vertica传输到Redshift

Question

我想使用apache nifi将数据从vertica传输到redshift。 我需要设置哪些处理器和配置？

Answer 1

如果Vertica和Redshift表现良好＆＃34; JDBC驱动程序，您可以为每个驱动程序设置DBCPConnectionPool，然后设置ExecuteSQL，QueryDatabaseTable或GenerateTableFetch等SQL处理器（后者生成SQL用于的ExecuteSQL）。这些将使您的记录变为Avro格式，然后（在NiFi 1.2.0之前）您可以使用ConvertAvroToJSON - ＆gt; ConvertJSONToSQL - ＆gt; PutSQL将您的记录插入Redshift。

在NiFi 1.2.0中，您可以使用设置AvroReader在PutDatabaseRecord中使用。然后，您只需要SQL处理器从Vertica中获取记录，直接将PutDatabaseRecord放入Redshift。