建议在不同层面上使用并行计算

Question

我们知道，对于较长任务而言，使用并行计算比使用较短任务更好，以便在切换许多小任务时节省操作系统时间。我正在寻找您的意见，并就以下情况提出建议。我有6个任务可以并行，每个任务都有一个小任务，也可以并行。假设我有64个可以使用的核心。

对于6个较大的任务使用parallel是否明智，然后在每个任务中再次并行？

Answer 1

您已经回答了自己的问题。如果单个任务很短，并行化的开销将导致总计算时间上升而不是下降。当具有这种并行作业的层次结构时，这并没有真正改变。我认为开销更大，因为信息必须从最小的工作，通过中间工作传递到顶层。如果您的最小任务不需要花费大量时间，比如说至少几秒钟，那么并行化并没有帮助。