Question

我正在使用MapSide join来获取MR作业中的2个不同文件。

Input File 1:
0,5.3
26,4.9
54,4.9
.
.
.

InputFile 2:
0   Anju,,3.6,IT,A,1.6,0.3
26  Remya,,3.3,EEE,B,1.6,0.3
54  akhila,,3.3,IT,C,1.3,0.3

我的意图是替换如下

Anju,5.3,3.6,IT,A,1.6,0.3
Remya,4.9,3.3,EEE,B,1.6,0.3
akhila,4.9,3.3,IT,C,1.3,0.3

我做的是

为了获得2个文件作为输入，我使用了2个映射器（MultipleInput）。

2个文件的第一列是文件偏移量。

在第一个地图中，我将第一个col作为键（可记录偏移量）发出，并将其作为第一个文件的值在第2个映射中，我也发出第一个col作为键（可记录偏移量），并将其作为第二个文件的值

所以在reducer中我能够得到

Reducer
key 0
value 5.3
value Anju,S,3.6,IT,A,1.6,0.3

Reducer
key 26
value Remya,,3.3,EEE,B,1.6,0.3
value 4.9

Reducer
key 54
value 4.9
value akhila,,3.3,IT,C,1.3,0.3

我如何replace重视任何想法？

我的方法是正确的还是应该遵循任何改变方式？请建议。

Answer 1

您可以使用此代码替换：

String result = null;
String replacement = null;
for (Text value: values) {
    String valueStr = value.toString();
    if (valueStr.contains(",,")) {
        result = valueStr;
    } else {
        replacement = valueStr;
    }
}
if (result == null || replacement == null) {
    return;
}
result = result.replaceFirst(",,", "," + replacement + ",");
// write result

但它不是MapSide加入。要进行MapSide连接，您应该在每个映射器中读取具有替换（InputFile 1）的文件（在设置阶段），然后在映射阶段将此数据与InputFile 2连接。例如：

private Map < Integer, Double > replacements;

@Override
protected void setup(Context context) throws IOException, InterruptedException {
    replacements = new HashMap < Integer, Double > ();
    // read FileInput 1 to replacements
    // ...
}

@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    String[] parts = value.toString().split("\t"); // 0   Anju,,3.6,IT,A,1.6,0.3
    Integer id = Integer.parseInt(parts[0]);
    if (!replacements.containsKey(id)) {
        return; // can't replace
    }
    Double replacement = replacements.get(id);
    String result = parts[1].replaceFirst(",,", "," + replacement + ",");
    // write result to context
}

Map Side加入MR Jobs

1 个答案: