与RabbitMQ的Spark结构化流式集成

Question

我想使用Spark结构化流来聚合RabbitMQ消耗的数据。 我知道有一个官方的火花结构流与apache kafka的集成，我想知道是否存在与RabbitMQ的某些集成？ 由于我无法切换现有的消息传递系统（RabbitMQ），我想到使用kafka-connect在消息传递系统（Rabbit到kafka）之间移动数据，然后使用Spark结构化流式传输。

有谁知道更好的解决方案？

Answer 1

如果你开始探索Spark Streaming而不是Structured Streaming，那么

This自定义RabbitMQ接收器似乎可用。