使用自定义接收器发送Spark Streaming Ahead日志

Question

我有一个使用Custom Receiver的Spark Streaming应用程序，我希望它完全容错。为此，我在运行spark-submit时已在配置文件中启用了预写日志（WAL），并设置了检查点（使用getOrCreate）。

从我在网上看到的教程中可以看出，要确保WAL使用自定义接收器正确恢复缓冲的数据，我需要确保接收器可靠，并且在将数据保存到WAL目录后对其进行确认。 Spark网站上的参考还讨论了从源头确认数据： https://spark.apache.org/docs/1.6.1/streaming-custom-receivers.html

但是，没有有关如何设置订单的示例代码：

1. 首先将数据保存到WAL（通过调用store（））
2. 确认数据（??）

有人知道我该怎么做吗？ 当前，在我的Spark UI中，我看到该应用程序以具有“ 0个事件”的多个批次继续运行。