您如何通过Apache Beam中的谓词从Cassandra中读取内容?

时间:2018-12-28 05:14:33

标签: java cassandra apache-beam

我正在考虑将一些应用程序转换为流式Apache Beam应用程序。这些应用程序均从Cassandra读取,并写入Solr和BigQuery。

所有这些源和接收器都有连接器,我已经实现了BigQuery和Solr,但是CassandraIO连接器似乎还不够。

所以我有一个多部分的问题: 1)是否可以使用CassandraIO连接器在您的读取中指定谓词?

如果是,请在这里结束!

2)我可以通过编写自定义Cassandra Service来实现吗?在浏览代码时,我很难遵循代码。

3)如果从Beam上下文使用普通的Java Datastax驱动程序,我需要注意哪些问题?

4)是否创建了将此功能添加到连接器的任何已知问题?

对于上下文,我的管道:

1)读取多个包含项目ID(带有其他无关信息)的Pubsub订阅,并将其拼合为一个PCollection。

2)使用包含ID的PCollection从Cassandra读取所有行

3)对返回的实体进行一些处理

谢谢!

0 个答案:

没有答案