如何在重新启动jobmanager时保持apache flink任务并提交记录

时间:2020-04-30 10:03:45

标签: apache-flink

我正在使用apache flink 1.10批量计算流数据,今天我将apache flink kubernetes(v1.15.2)pod从计算机1移至计算机2,发现所有提交任务记录和任务列表消失了,这是怎么回事?峰会记录在记忆中吗?重新启动apache flink的kubernetes pod时,我应该如何保存提交记录和任务列表?我只是发现了检查点持久性,但与任务无关。

如果丢失正在运行的任务历史记录,则必须上传任务jar并重新创建所有任务,如果丢失历史记录,那么应该重新创建许多任务,是否有可能自动恢复任务?

1 个答案:

答案 0 :(得分:1)

可能未设置的配置为:

工作经理

jobmanager.archive.fs.dir: hdfs:///completed-jobs

历史记录服务器

# Monitor the following directories for completed jobs
historyserver.archive.fs.dir: hdfs:///completed-jobs

# Refresh every 10 seconds
historyserver.archive.fs.refresh-interval: 10000

请查看更多详细信息:https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/historyserver.html#configuration