Spark在本地运行

时间:2015-04-16 12:22:38

标签: multithreading parallel-processing apache-spark

SparkContext的master参数确定要使用的集群。我可以指定local,它将Spark设置为使用一个工作线程在本地运行,或者指定local [k],它将Spark设置为使用K个工作线程本地运行(在我的情况下为24个内核)。为什么两种方式给我类似的运行时间?我不正确地理解它吗?我试图在数据集上运行MLIB包,并进行一些RDD转换。

0 个答案:

没有答案