如何将Spark结构化的流数据写入REST API？

Question

我想将我的Spark结构化流处理数据推送到REST API。有人可以分享相同的例子吗？我发现很少，但全部与Spark流媒体有关，而不与结构化流媒体有关。

Answer 1

我还没有听说过用于Spark结构化流的REST API接收器，但是您可以自己编写一个。从org.apache.spark.sql.execution.streaming.Source开始。

不过，最简单的方法是使用DataStreamWriter.foreach或foreachBatch（从2.4开始）。