在虚拟机中运行Spark流

时间:2015-02-04 09:47:04

标签: virtual-machine apache-spark virtualization spark-streaming

在Xen或KVM等虚拟化环境中部署Spark流式集群时,是否存在明显的性能下降或缺陷?主要原因是什么?

1 个答案:

答案 0 :(得分:1)

关于虚拟化的常见警告适用,但Spark或Spark Streaming没有特定的内容。

我不知道会直接解决这个问题的文章。但Spark petasort基准测试是在EC2上运行的,文章密切关注性能:https://databricks.com/blog/2014/10/10/spark-petabyte-sort.html