SPARK操作顺序

Question

我很好奇为什么像SPARK这样的并行引擎会标准地序列化Actions。例如：

df1.write.saveAsTable("TABLE_DF1")
df2.write.saveAsTable("TABLE_DF2")

顺序出现。我找不到官方原因。

可以说，按照冯·诺依曼循环，PL / SQL，操作/数据库对数据库的写操作是按顺序发生的，但是我认为，如果有足够的资源，DAG可以计算出某些方面可以并行发生。

Answer 1

这就是它的工作方式。泛滥子系统的并发写入过多通常是一个问题。应当提供所提供的链接eliasah。