与RabbitMQ的Spark结构化流式集成

时间:2018-04-16 06:21:57

标签: apache-spark rabbitmq spark-streaming

我想使用Spark结构化流来聚合RabbitMQ消耗的数据。 我知道有一个官方的火花结构流与apache kafka的集成,我想知道是否存在与RabbitMQ的某些集成? 由于我无法切换现有的消息传递系统(RabbitMQ),我想到使用kafka-connect在消息传递系统(Rabbit到kafka)之间移动数据,然后使用Spark结构化流式传输。

有谁知道更好的解决方案?

1 个答案:

答案 0 :(得分:0)

如果你开始探索Spark Streaming而不是Structured Streaming,那么

This自定义RabbitMQ接收器似乎可用。