从卡桑德拉实时摄取

Question

对于我的一个用例，我需要以流方式将cassandra中的数据摄取到我的datalake中。我正在研究cassandra架构，发现cassandra将其日志存储在commit log文件夹中。我尝试读取这些日志，但未成功。

此外，我探索了datastax cassandra连接器，但它有两个缺点：

• 由于它使用JDBC连接，因此随着表数量的增加，cassandra集群上的负载可能会变得太大。
• 由于这是一种基于查询的方法，因此我们必须每半小时运行一次，而且不会流式传输。

欢迎使用任何可以帮助我以流方式提取数据的解决方案。