让Cassandra使用连接器动态发布有关Kafka的主题

时间:2019-07-24 10:11:07

标签: cassandra apache-kafka apache-kafka-connect

所以我有一个Kafka主题,它从外部源接收数据,并将其写入Cassandra表(通过接收器连接器)。

在Cassandra表中,我的数据格式如下:

[
 SessionID varchar,
 TS timestamp,
 TYPE varchar,
 other data...
]

SessionID为分区键,(TS, TYPE)为聚类键。

因此,我的目标是能够“重放”已存在的任何会话(当前是否正在直播)。为此,我需要从Cassandra(即WHERE SessionID=XXX)中检索相应会话的数据,并让Cassandra在Kafka主题上发布查询结果。

为解决这个问题,我尝试在Cassandra和Kafka之间使用源连接器(如果有更好的方法,请告诉我)。此连接器允许进行KCQL查询,该查询在连接器启动时“固定”。

问题是:是否可以随时更改KCQL查询以请求不同的SessionID,还是应该在每次要流传输不同的会话时创建一个自动生成的新连接器?

谢谢!

0 个答案:

没有答案