我们正在使用Spark版本2.0.2开发Qubole。
我们有一个多步骤过程，其中所有中间步骤都将其输出写入HDFS，稍后此输出将用于报告层。
根据我们的用例，我们希望避免写入HDFS并将所有中间输出保存为spark中的临时表，并直接写入最终的报告层输出。
对于此实现，我们希望使用Qubole提供的作业服务器，但是当我们尝试在作业服务器上触发多个查询时，作业服务器会按顺序运行我的作业。
我在Databricks集群中也观察到了相同的行为。
我们使用的集群是30节点，r4.2xlarge。
有没有人有使用作业服务器运行多个作业的经验？
社区的帮助将不胜感激！