具有预定义顺序的Spark流

时间:2019-02-28 11:12:11

标签: apache-spark apache-spark-sql spark-streaming apache-spark-2.0

我有两个流数据帧-firstDataFramesecondDataframe。我想完全流firstDataframe。而且,如果第一个流成功完成,那么只有我想流另一个数据帧

例如,在下面的代码中,我希望第一个流操作完全执行,然后第二个开始

firstDataframe.writeStream.format("console").start 
secondDataframe.writeStream.format("console").start

Spark默认遵循FIFO作业调度。这意味着它将优先处理第一个流作业。但是,如果第一个流作业不需要所有可用资源,它将并行启动第二个流作业。我本质上是想避免这种并行性。有办法吗?

参考:https://spark.apache.org/docs/latest/job-scheduling.html#scheduling-within-an-application

0 个答案:

没有答案