没有检查点位置的Spark Streaming直接方法

Question

当我们使用Spark Streaming Direct方法并且未指定check point location时，将存储偏移量以及如何存储？

使用检查点位置与未指定任何检查点位置之间是否存在任何差异？

如果我没有指定检查点位置，是否会有任何数据丢失？

Answer 1

如果您没有检查点，那么在您的驱动程序崩溃的情况下，您将无法恢复。此外，由于没有检查点，Kafka抵消不会被检查点，您需要自己手动存储它们。

  

使用检查点位置与未指定任何检查点位置之间是否存在任何差异？

这句话没有多大意义。如果您没有提供检查点目录，那么如果您这样做，那么它将不是检查点。要准确达到一次语义（如果需要），您需要手动存储偏移量。