Question

Flink是否具有避免每次提交作业时都上载外部jar的配置，例如在火花提交中使用spark.yarn.archive？

我知道处理外部罐子的方法，例如How to Reference the External Jar in Flink中的答案。例如胖罐子，将罐子复制到$FLINK/lib，-yt配置，但它们不够灵活或不够方便。

Answer 1

我注意到Flink有一个问题FLINK-13938可解决此问题，该改进已合并到最新的1.11.0版本中。

可以像下面这样发出最终提交命令。

./bin/flink run -m yarn-cluster -d \
-yD yarn.provided.lib.dirs=hdfs://myhdfs/flink/lib,hdfs://myhdfs/flink/plugins \
examples/streaming/WindowJoin.jar

Flink配置以避免每次提交作业时都上传外部jar

1 个答案: