如何使用mapreduce减去两个又高又瘦的矩阵?

时间:2015-06-17 05:14:54

标签: python hadoop mapreduce

我想使用mapreduce减去两个高大和瘦的矩阵。 一个矩阵存储在一个文件中,其他矩阵存储在其他文件中。 如何应用mapreduce概念,然后如何同时向Hadoop输入两个文件的命令?(目前,我在python中使用Dumbo for Hadoop)

有人可以提出想法或来源吗?

      !['''x=0,y=0,z=0,a=0'''
x=0
y=0
z=0
a=0
def mapper1(key1,value1):
    x=key1
    y=value1
    yield x,y
'''yield key1,value1'''
def mapper(key,value):
    z=key
    a=value
    yield z,a
'''yield key,value'''
def reducer(x,y,z,a):
    if x==z:
       res=math.abs(y-a)
       yield x,res
if __name__ == "__main__":
    import numpy as np
    import math
    import dumbo
    dumbo.run(mapper1,mapper,reducer)
'''e''']

我收到错误:[1]:http://i.stack.imgur.com/qfZMy.png

0 个答案:

没有答案