dask如何在多个系统上实现？

Question

我是Dask库的新手。我想知道我们是否在两个系统上使用dask实现并行计算，那么在这两个系统上应用计算的数据框架是什么？并行计算实际上是如何发生的，从文档中还不清楚。

Answer 1

Dask数据帧是分块的，因此通常您有一个大数据帧，它由分布在整个群集中的较小数据帧组成。计算单独应用于每个块，并在需要时对结果进行混排（例如groupby，sum和其他聚合任务）。