我是Flink的新手,我正在使用以下脚本将批处理模式的字数提交给yarn。
./flink run -m yarn-cluster ../examples/batch/WordCount.jar
它以纱簇模式运行,因此JM将在纱簇的一个节点上运行。
到目前为止很好,但是我不明白为什么我在运行上述脚本的控制台上看到单词数据集结果打印出来?
我想知道flink yarn-cluster的行为如何,例如,如果我运行Dataset#collect,哪个进程将获取元素?
答案 0 :(得分:1)
您看到的结果是因为JobManager将其发送到客户端(cmd行脚本)。
您可以查看here分布式运行时的工作原理。