是否可以从flink作业触发spark作业并从中获取数据?

时间:2017-07-11 10:31:18

标签: apache-spark apache-flink azure-data-lake

我正在使用flink从Azure数据湖中读取数据。但是flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。

所以我正在尝试的是触发flink中的spark以从Azure Data湖中读取数据并执行一些逻辑并将列表返回到flink。那么flink可以使用那些数据吗?

是否可以通过flink触发火花作业?或者如何配置flink以了解Azure Data湖文件系统。有谁可以指导我吗?

0 个答案:

没有答案