Spark结构化Kafka经纪人的流媒体更改-对检查点的影响

时间:2018-10-10 06:49:17

标签: apache-spark apache-kafka spark-structured-streaming checkpointing

我们有一个使用内部托管的Kafka在生产环境中运行的Spark结构化流应用程序(称为kafka-inhouse

我们正在决定迁移到aiven kafka cloud

假设:

  1. 我们使用了kafka-inhouse中的所有消息,然后新消息被发布到aiven kafka cloud

  2. 在我们存储Kafka消息(使用Spark Streaming应用程序)的S3中,pathcheckpoint不变。

问题:

Spark结构化的流媒体能否在迁移后无缝管理Kafka经纪人中的变更,尤其是checkpointing

0 个答案:

没有答案