从Apache Zeppelin部署时管理Flink Job库依赖关系

时间:2018-12-03 09:21:24

标签: apache-flink apache-zeppelin

我正在集群模式下使用Zeppelin 0.7.3和Flink 1.4.2。 我的Flink作业依赖于第三方库(Flink CEP,jackson json等),运行笔记本时,即使在上述库中配置了Flink Interpreter依赖项,我在Flink Task端也收到ClassNotFoundException异常。

这很好,因为Flink仅依赖于核心库(https://ci.apache.org/projects/flink/flink-docs-stable/start/dependencies.html)。 不幸的是,默认情况下,Zeppelin Flink Interpreter不会在提交的jar文件中打包所有依赖项,因此我们得到了ClassNotFoundException异常

因此,我想问你如何配置Flink解释器以将所有必需的第三方依赖项发送到Flink集群? 是否有类似SPARK_SUBMIT_OPTIONS之类的环境变量?还是%flink.dep?

0 个答案:

没有答案