Question

我有一个Apache Flink 1.3.2集群，我得到了

java.io.FileNotFoundException: /tmp/flink-io-c82ab1b0-99fe-4707-88e6-eca23400644d/45e162f5934e2d5d010afa090a6ac44871be08b6a9397a934f72be420c31b18a.0.buffer (No such file or directory)
    at java.io.RandomAccessFile.open0(Native Method)
    at java.io.RandomAccessFile.open(RandomAccessFile.java:316)
    at java.io.RandomAccessFile.<init>(RandomAccessFile.java:243)
    at org.apache.flink.streaming.runtime.io.BufferSpiller.createSpillingChannel(BufferSpiller.java:259)
    at org.apache.flink.streaming.runtime.io.BufferSpiller.<init>(BufferSpiller.java:120)
    at org.apache.flink.streaming.runtime.io.BarrierBuffer.<init>(BarrierBuffer.java:147)
    at org.apache.flink.streaming.runtime.io.StreamInputProcessor.<init>(StreamInputProcessor.java:128)
    at org.apache.flink.streaming.runtime.tasks.OneInputStreamTask.init(OneInputStreamTask.java:56)
    at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:234)
    at org.apache.flink.runtime.taskmanager.Task.run(Task.java:702)
    at java.lang.Thread.run(Thread.java:745)

这是经过5-6天的平稳运行而没有发生的错误，由于该文件似乎丢失，我无法开始工作了。

我想知道为什么任务管理器在本地而不是在S3 / Hdfs上存储数据？

我在某些任务管理器中找到了此类文件，所以我想解决方案是将作业重新启动很多次，直到它与相应文件一起进入任务管理器为止？

找不到Apache Flink / tmp / flink-io- *文件

0 个答案: