我有两个流数据帧-firstDataFrame
和secondDataframe
。我想完全流firstDataframe。而且,如果第一个流成功完成,那么只有我想流另一个数据帧
例如,在下面的代码中,我希望第一个流操作完全执行,然后第二个开始
firstDataframe.writeStream.format("console").start
secondDataframe.writeStream.format("console").start
Spark默认遵循FIFO作业调度。这意味着它将优先处理第一个流作业。但是,如果第一个流作业不需要所有可用资源,它将并行启动第二个流作业。我本质上是想避免这种并行性。有办法吗?
参考:https://spark.apache.org/docs/latest/job-scheduling.html#scheduling-within-an-application