Spark中的两个作业可以并行运行吗？

Question

我对Spark工作，阶段，任务感到困惑。

据我所知，两个阶段和任务可以并行运行。但是由于我的所有开发都在独立集群上，所以我怀疑Spark是否可以并行运行两个作业。因为当我在Jobs页面上打开Event timeline时，我从未看到两个并行/重叠的作业。谢谢！

Answer 1

是的，您可以在独立模式下以并行方式运行两个作业。基本上它需要记忆。如果您的服务器有8 GB的内存，那么您必须将最大分配设置为3 gb，因此每当您要运行第二个作业时，您的服务器可以允许您运行该作业，因为您的第二个作业需要3 GB内存而您的服务器有4个5 gb可用内存。如果您的服务器没有空闲内存，那么您的第二个作业将进入待定模式。