Apache Spark与Google PubSub的结构化流

Question

我正在使用Spark Dstream从Google PubSub中提取和处理数据。

我正在寻找一种转移到结构化流媒体的方法，但仍使用Pub / Sub。

另外，我应该提到我的消息是在Pub / Sub中经过Snappy压缩的。

我发现了this问题，该问题声称不支持将Pub / Sub与结构化流一起使用。

有人遇到了这个问题吗？是否可以实现自定义Receiver以从Pub / Sub

中读取数据

谢谢

Answer 1

您引用的feature request仍然准确：Cloud Pub / Sub没有用于跟踪您的读取位置的偏移量概念，因此不支持使用Cloud Pub / Sub进行结构化的流传输。