在纱线上运行的多个火花应用是否会相互影响？

Question

纱线上运行的多个火花作业是否会相互影响？ 例如如果一个流媒体作业的流量增加太多，它对第二个工作有什么影响吗？会减慢速度还是其他任何后果？

我有足够的资源让两个应用程序同时运行。

Answer 1

是的，他们这样做。根据调度程序的设置方式（静态与动态），它们或者只共享网络输出（对shuffle很重要）和磁盘吞吐量（对于shuffle很重要，在本地或在HDFS上读取数据，在本地或在HDFS上写入数据）如果是动态分配，还有内存和CPU。尽管如此，由于不经常使用网络和磁盘资源，并行运行两个作业而不是按顺序运行将平均受益。这主要取决于你工作所需的洗牌量。