flink-conf.yaml中的high-availability.storageDir维护

时间:2019-07-09 11:53:31

标签: apache-flink

仅使用HA设置hyper会在high-availability.storageDir指向的目录中生成空子目录,除了default / blob子目录(似乎是检查点的占位符)以外,其他所有目录似乎都可以删除吗?只是让这种过度生产在无需任何维护的情况下发生,就会遇到磁盘空间填满,索引节点限制问题等问题。删除/压缩高可用性.storageDir的假定方法是什么(默认情况下设置为/ opt / flink / ha /),只需删除default / blob之外的所有内容,早于某个时间的旧内容,或者...? 在flink-conf.yaml中是否有可用的HA设置可以启用某些轮转,而无需进行此类维护?

我们已经遇到一个问题,即作业管理器由于磁盘空间已用尽而无法启动,并且无法编写检查点,但是由于在zookeeper中写入了信息,因此预计在启动时会出现这种情况。删除该信息。

与HA相关的其他设置为:

high-availability: zookeeper
high-availability.storageDir: /opt/flink/ha/
high-availability.zookeeper.quorum: zoo-keeper-1.flink.svc:2181,zoo-keeper-2.flink.svc:2181,zoo-keeper-3.flink.svc:2181
high-availability.jobmanager.port: 6123

1 个答案:

答案 0 :(得分:0)

听起来有点像遇到https://issues.apache.org/jira/browse/FLINK-11107,最近在Flink 1.8.1中已修复。

希望这会有所帮助。

康斯坦丁