如何计算Spark集群或MPI集群中的数据通信成本和工作负载平衡比?

时间:2019-02-21 13:08:19

标签: apache-spark mpi

以下论文在分布式机器学习中做了创造性的工作。我想知道如何计算通信成本和工作负载平衡比率。

[1] J. Chen等。大规模卷积神经网络的双层并行训练架构。 IEEE并行和分布式系统事务。 2018。

本文在5.4节中提供了数据通信和工作负载平衡分析,并在图15中显示了数据通信和工作负载平衡的比较。我不知道本文使用哪种并行框架,MPI或Spark?

[2] J。 Chen等。火花云计算环境中大数据的并行随机森林算法。 IEEE并行和分布式系统事务,2017年。

本文在第4.3.4节中提供了资源和工作负载平衡分析,但没有提供特定数据集的定量工作负载平衡。本文在第4.3.3节中介绍了数据通信分析,并在图15中提供了数据通信成本。

我的问题如下:

(1)如何计算Spark集群中的数据通信成本和工作负载平衡比?

(2)如何计算MPI集群中的数据通信成本和工作负载平衡比?

(3)“大规模卷积神经网络的双层并行训练体系结构”论文使用哪个并行框架?

0 个答案:

没有答案