Question

我有一个设置了3个节点的flink集群。在Web界面中，我看到3个任务管理器，3个任务槽和3个可用任务槽。

我正在尝试运行一个简单的单词计数，并且在三次中有两次确定失败。我认为每次它没有在主机上运行时它都会失败。

以下是我的flink-conf.yaml和word_count.py个文件。

我得到的例外是：

Caused by: java.lang.RuntimeException: Plan file caused an error. Check log-files for details.python: can't open file '/data/tmp/flink/flink-dist-cache-9fc4a122-1f21-4930-a998-db31129b4596/a68369119ce030c8ca4a0b98aeb39387/flink_dc/plan.py': [Errno 2] No such file or directory

（堆栈跟踪的完整执行是here。）

我检查了所有文件夹，并且都拥有rwx权限。

有谁知道我做错了什么？

Answer 1

您必须将python.dc.tmp.dir参数设置为指向所有节点（如hdfs）可访问的某个文件系统位置。

您可以在此处找到Python API的所有配置选项：https://github.com/apache/flink/blob/master/flink-libraries/flink-python/src/main/java/org/apache/flink/python/api/PythonOptions.java

Flink python作业执行失败

1 个答案: