我正在考虑将一些应用程序转换为流式Apache Beam应用程序。这些应用程序均从Cassandra读取,并写入Solr和BigQuery。
所有这些源和接收器都有连接器,我已经实现了BigQuery和Solr,但是CassandraIO连接器似乎还不够。
所以我有一个多部分的问题: 1)是否可以使用CassandraIO连接器在您的读取中指定谓词?
如果是,请在这里结束!
2)我可以通过编写自定义Cassandra Service来实现吗?在浏览代码时,我很难遵循代码。
3)如果从Beam上下文使用普通的Java Datastax驱动程序,我需要注意哪些问题?
4)是否创建了将此功能添加到连接器的任何已知问题?
对于上下文,我的管道:
1)读取多个包含项目ID(带有其他无关信息)的Pubsub订阅,并将其拼合为一个PCollection。
2)使用包含ID的PCollection从Cassandra读取所有行
3)对返回的实体进行一些处理
谢谢!