我可以使用PutDatabaseRecord处理器直接向上插入apache Kudu吗？

Question

我正在尝试将Mysql与apache Kudu同步，我使用CaptureChangeMySql处理器来获取新的更新/插入记录（JSON格式），如何使用PutDatabaseRecord将数据放入Kudu？

请注意，我不仅要在数据库级别进行同步，而且要同步具有固定模式的特定表

Answer 1

根据this Apache Kudu doc，您应该能够使用Impala将记录插入Kudu表中。根据版本的不同，您可能会自动访问该表（这意味着Impala已经“知道” Kudu表），或者您可能需要在Kudu表顶部的Impala中创建一个外部表（请参见上述文档）。无论哪种方式，您都应该能够在PutDatabaseRecord或任何基于SQL的处理器中使用Impala JDBC驱动程序（例如，如果需要在流中创建表，则可以使用PutSQL）。

或者，您也可以尝试从1.4.0版开始使用Apache NiFi的PutKudu处理器（通过NIFI-3973）。