为什么Spark stage的Executor Computing Time比第一次运行时花费的时间多得多?

时间:2017-02-14 04:30:23

标签: apache-spark

这是我的代码:

import time
import random

NUM_SAMPLES = 1000000
def sample(p):
  x, y = random.random(), random.random()
  return 1 if x*x + y*y < 1 else 0

  count = sc.parallelize(xrange(0, NUM_SAMPLES)).map(sample).reduce(lambda a, b: a + b)
print "Pi is roughly %f" % (4.0 * count / NUM_SAMPLES)

enter image description here

这是阶段页面,stage0比其他阶段花费大约0.5s的时间,我想知道0.5s去了哪里?其他信息,主要不同之处在于Executor Computing Time。

enter image description here

0 个答案:

没有答案