查询Cassandra并按顺序使用Kafka

Question

我是新手，不知道如何实现这一目标。 关于如何从同一个火花作业查询Cassandra和消费者Kafka流的任何想法。基本上，

1. 我正在尝试查询cassandra并在作业开始时获取一些信息。

2. 然后，继续消费Kafka。使用我从cassandra获得的信息来转换来自kafka的数据。 那么，我如何确保这两个事件的顺序。

Answer 1

你可以用spark-cassandra-connector做到这一点。那就是你将连接和查询cassandra的代码与向kafka发送数据的代码结合起来。 你可以找到用于读写cassandra here的java工具。要将数据发送到kafka，请查看this code的sendToKafka方法。