标签： apache-spark spark-streaming spark-structured-streaming
这不是具有错误的典型编码问题。我的问题是：我正在尝试从公司内部MQ传输数据。要摄取数据，我遵循了本教程：Spark Custom Receiver，但是此内部MQ不支持确认住宿或重新发送消息。当一个新的味精到来时，它就飞了出来。我知道在流式传输流中，如果流式应用程序失败，我们可以使用检查点来启用WAL。但是，如果第一次将数据/元数据写入WAL时失败了怎么办？在这种情况下，我将永远丢失数据。还有其他选择可以使其丢失零数据吗？