Apache NiFi:无论何时修改表记录,如何从Cassandra表中获取数据

时间:2020-06-01 12:09:54

标签: java cassandra apache-flink apache-nifi

我有 Cassandra 作为数据库,我们正在使用“ QueryCassandra ”处理器将Cassandra表中的值提取到输出端口, 它使用选择查询来获取记录。我有一个下面提到的用例。

1)第一次需要从卡桑德拉(Cassandra)提取所有记录并将其传输到输出端口,这种情况正在发生。 (即,如我们在“运行时间表”中所述,所有数据通常都是在特定的时间间隔从表中获取的)

2)之后,每当修改Cassandra表(插入新记录或更新行或删除行)时,只需将记录发送到输出端口, 有什么方法可以实现这一目标,而不是每隔一段时间获取一次?

Sample Nifi Template

1 个答案:

答案 0 :(得分:0)

NiFi(在撰写本文时为1.11.4)目前尚无法实现,我们需要Cassandra版本的QueryDatabaseTable(您在其中提供仅增加列,例如时间戳)或CaptureChangeCassandra处理器在这里我们使用CommitLogReader来读取提交日志,而不是查询表本身。

请随时编写新功能Jira case,为Cassandra添加CDC功能。