我可以在本地文件系统中使用flinkrocksDB状态后端吗?

时间:2019-10-29 20:13:10

标签: apache-flink rocksdb

我正在探索使用FlinkrocksDb状态后端,该文档似乎暗示我可以使用常规文件系统,例如:file:///data/flink/checkpoints,但是代码Javadoc在这里仅提及hdfs或s3选项。

我想知道是否可以在flink rocksdb后端使用本地文件系统,谢谢!

Flink文档:https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend

链接代码:https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/RocksDBStateBackend.java#L175

1 个答案:

答案 0 :(得分:2)

不,你不应该这样做!

使用此路径可以配置Flink将检查点写入其中的目录。检查点是应用程序状态的副本,用于在发生故障(例如机器故障)时恢复应用程序状态。该路径必须指向持久性和远程存储,以便在进程被杀死或机器死亡时能够读取检查点。如果将检查点写入失败的计算机的本地文件系统,则将无法恢复作业并恢复状态。

但是,如果这是可以从其他计算机上挂载的NFS(或任何其他远程存储)的挂载点,则可以将检查点写入本地路径。