apache-spark部署:独立VS多个VM

时间:2015-05-21 17:12:15

标签: apache-spark hadoop hdfs alluxio

我有一台机器可以部署Spark,Hadoop和Tachyon。  来自hdfs / tachyon的spark操作是否会在一个节点上更快,所有内核/ RAM或多个VM节点均匀划分资源? 拉姆是< 200GB。

Performance and Scalability of Broadcast in Spark已经相当陈旧,但表明增加的网络流量可能是所有与VM问题的强烈负面影响。

1 个答案:

答案 0 :(得分:0)

拥有多个工作实例可能会更好,而它们是网络开销的增加,JVM性能非常大,并不是很好。