Question

是否有可能以分布式方式找到火花中位数？我目前正在使用以下代码找到：Sum，Average，Variance，Count：

dataSumsRdd = numRDD.filter(lambda x: filterNum(x[1])).map(lambda line: (line[0], float(line[1])))\
    .aggregateByKey((0.0, 0.0, 0.0),
     lambda (sum, sum2, count), value: (sum + value, sum2 + value**2, count+1.0),
     lambda (suma, sum2a, counta), (sumb, sum2b, countb): (suma + sumb, sum2a + sum2b, counta + countb))
#Generate RDD of Count, Sum, Average, Variance
dataStatsRdd = dataSumsRdd.mapValues(lambda (sum, sum2, count) : (count, sum, sum/count, round(sum2/count - (sum/count)**2, 7)))

我不太确定如何找到Median。要找到标准偏差，我只需使用平方根方差在本地进行结果。一旦我收集了中位数，我就可以在本地轻松做偏斜。

我的数据是键/值对（键=列）

Answer 1

我所关注的是（它不是最好的方式......但是我能想到的唯一方法）：

def medianFunction(x):
    count = len(x)
    if count % 2 == 0:
        l = count / 2 - 1
        r = l + 1
        value = (x[l - 1] + x[r - 1]) / 2
        return value
    else:
        l = count / 2
        value = x[l - 1]
        return value

   medianRDD = numFilterRDD.groupByKey().map(lambda (x, y): (x, list(y))).mapValues(lambda x: medianFunction(x)).collect()

pySpark以分布式方式找到中位数？

1 个答案: