同一个worker上的多个执行程序会独立启动

时间:2016-02-15 23:28:16

标签: apache-spark pyspark

我读到应该有可能在spark-standalone上的worker实例上运行多个执行程序。

https://github.com/apache/spark/pull/731

但看起来它还没有合并。 有谁可以确认? 如果要加快处理速度,我仍然可以使用更多的执行程序设置:

  

spark_worker_instances

这就是我需要做的全部吗?

0 个答案:

没有答案