Spark流写入外部存储,如何确保不会丢失数据?

时间:2019-02-22 13:29:27

标签: apache-spark spark-streaming

这种情况:

val lines = readKafka ....

lines.foreachRDD {
  ...  // transformation
  ...  // wirte to db redis or kafka
}

现在有三批数据:A B C

  • 将批A写入外部存储时,网络正常
  • 将批处理B写入外部存储时,网络连接丢失,引发异常。
  • 将批处理C写入外部存储时,网络恢复正常

最后,只有A和C写入外部存储,数据丢失。

谢谢。

0 个答案:

没有答案