我们在独立的五节点群集上运行Flink。 /tmp/
目录不断填充以blobstore--*
开头的目录。这些目录非常大(大约1 GB),并且很快就填满了空间,并且作业失败,并显示No space left of device
错误。这些目录中的文件似乎是以某种形式表示群集中正在运行的作业。
这些文件是什么,我该如何清理它们,以免它们填满/ tmp /导致作业失败?
链接版本:1.4.2
答案 0 :(得分:0)
blob存储文件对于在群集中分发Flink作业是必需的。作业完成后,应将其清理干净。仅在群集崩溃的情况下,才应该进行清理。
如果集群重新启动,则需要使用清理作业来清除旧的blobstore文件。删除目录时,必须注意不要删除正在运行的TaskManager的目录。通过查看正在运行的TaskManager的日志可以发现这一点。它们应包含Blob存储目录的路径。