map reduce - 皮尔逊相关

时间:2016-05-26 17:54:41

标签: mapreduce pearson-correlation

enter image description here

如何使用map reduce实现pearson相关?

我考虑过映射每对(x_i,y_i),但我不确定减少部分..

1 个答案:

答案 0 :(得分:0)

将问题分解为部分

r(x, y) = (a - b) / (c * d)

计算a,b,c和& d然后将它们插入上面的公式中。在某些情况下,进一步细分配方可能会有所帮助/有效。如果您想使用map / reduce执行每个步骤,则至少需要4个单独的map / reduce作业(更可能是6或7)。只有1,(a),需要x和amp;收率