我们有一个使用内部托管的Kafka在生产环境中运行的Spark结构化流应用程序(称为kafka-inhouse
)
我们正在决定迁移到aiven kafka cloud
。
假设:
我们使用了kafka-inhouse
中的所有消息,然后新消息被发布到aiven kafka cloud
在我们存储Kafka消息(使用Spark Streaming应用程序)的S3中,path
和checkpoint
不变。
问题:
Spark结构化的流媒体能否在迁移后无缝管理Kafka经纪人中的变更,尤其是checkpointing
?