Flink与Ceph作为持久存储

Question

Flink文件表明，Ceph可以用作州的持久存储。 https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/stream/checkpointing.html

考虑到Ceph是一个交易数据库，它不会对Flink的性能产生负面影响吗？

Answer 1

Ceph将自己描述为＆＃34;统一的分布式存储系统＆＃34; ，并提供网络文件系统API。因此，它应该与Flink的状态后端无缝协作，后端将检查点持久保存到远程文件系统。

我不知道有人使用Ceph（HDFS和S3更常用）并且没有关于性能的信息。但是，请注意Flink能够异步写入检查点，这样存储系统的性能不会影响Flink应用程序的处理速度。但是，它可能会限制检查点的间隔时间。

<强>更新 （2018年2月）我注意到有多个用户在Flink的用户邮件列表上报告他们正在使用Ceph和Flink。