在独立模式

Question

我在开发阶段有java应用程序。我在Cluster Standalone模式下有一个远程spark集群，它只包含一台带有2个处理器内核的机器。 ＆＃34;簇＆＃34;包含主人和一个工人。应用程序发送长时间运行的作业，作业不需要CPU工作，但会多次调用远程服务。换句话说，我使用spark like tasks scheduler。 在测试期间，我看到该应用程序同时发送了5个任务，但只有2个可以并行工作，另外3个在队列中。问题是，可以使用一个具有2个物理内核的实例来增加此配置中的并行任务数量吗？

Answer 1

要增加并行任务的数量，必须增加物理内核。由于你有2个核心，2个任务正在并行运行，其他3个正在排队。