Flink:什么是Blobstore文件,为什么它们不断填充/ tmp目录?

时间:2019-02-25 15:40:46

标签: apache-flink

我们在独立的五节点群集上运行Flink。 /tmp/目录不断填充以blobstore--*开头的目录。这些目录非常大(大约1 GB),并且很快就填满了空间,并且作业失败,并显示No space left of device错误。这些目录中的文件似乎是以某种形式表示群集中正在运行的作业。

这些文件是什么,我该如何清理它们,以免它们填满/ tmp /导致作业失败?

链接版本:1.4.2

1 个答案:

答案 0 :(得分:0)

blob存储文件对于在群集中分发Flink作业是必需的。作业完成后,应将其清理干净。仅在群集崩溃的情况下,才应该进行清理。

如果集群重新启动,则需要使用清理作业来清除旧的blobstore文件。删除目录时,必须注意不要删除正在运行的TaskManager的目录。通过查看正在运行的TaskManager的日志可以发现这一点。它们应包含Blob存储目录的路径。

  

http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/What-are-blobstore-files-and-why-do-they-keep-filling-up-tmp-directory-td26323.html