Question

使用NullWritable null键/值比使用null文本（即new Text(null)）有什么好处。我从“Hadoop：The Definitive Guide”一书中看到以下内容。

NullWritable是一种特殊类型的Writable，因为它具有零长度序列化。没有字节写入流或从流中读取。它用作占位符;例如，在 MapReduce，键或值可以在您不需要时声明为NullWritable 使用该位置 - 它有效地存储一个恒定的空值。 NullWritable也可以当您想要存储值列表时，可以用作SequenceFile中的键，而不是到键值对。它是一个不可变的单例：可以通过调用来检索实例 NullWritable.get()

我不清楚如何使用NullWritable写出输出？在开始输出文件中是否会有一个常量值，表明此文件的键或值为null，因此MapReduce框架可以忽略读取null键/值（以{{为准} 1}}）？另外，null文本实际上是如何序列化的？

谢谢，

Venkat

Answer 1

键/值类型必须在运行时给出，因此任何写入或读取NullWritables的内容都会提前知道它将处理该类型;文件中没有标记或任何内容。从技术上讲，NullWritables是“读”，只是“读”NullWritable实际上是无操作。你可以亲眼看到没有任何书面或阅读：

NullWritable nw = NullWritable.get();
ByteArrayOutputStream out = new ByteArrayOutputStream();
nw.write(new DataOutputStream(out));
System.out.println(Arrays.toString(out.toByteArray())); // prints "[]"

ByteArrayInputStream in = new ByteArrayInputStream(new byte[0]);
nw.readFields(new DataInputStream(in)); // works just fine

关于new Text(null)的问题，您可以尝试一下：

Text text = new Text((String)null);
ByteArrayOutputStream out = new ByteArrayOutputStream();
text.write(new DataOutputStream(out)); // throws NullPointerException
System.out.println(Arrays.toString(out.toByteArray()));

使用Text null

String根本不起作用。

Answer 2

我改变了run方法。和成功

@Override
public int run(String[] strings) throws Exception {
    Configuration config = HBaseConfiguration.create();  
    //set job name
    Job job = new Job(config, "Import from file ");
    job.setJarByClass(LogRun.class);
    //set map class
    job.setMapperClass(LogMapper.class);

    //set output format and output table name
    //job.setOutputFormatClass(TableOutputFormat.class);
    //job.getConfiguration().set(TableOutputFormat.OUTPUT_TABLE, "crm_data");
    //job.setOutputKeyClass(ImmutableBytesWritable.class);
    //job.setOutputValueClass(Put.class);

    TableMapReduceUtil.initTableReducerJob("crm_data", null, job);
    job.setNumReduceTasks(0);
    TableMapReduceUtil.addDependencyJars(job);

    FileInputFormat.addInputPath(job, new Path(strings[0]));

    int ret = job.waitForCompletion(true) ? 0 : 1;
    return ret;
}

Answer 3

你总是可以将你的字符串包装在你自己的Writable类中，并且有一个布尔表示它有空字符串：

@Override
public void readFields(DataInput in) throws IOException { 
    ...
    boolean hasWord = in.readBoolean();
    if( hasWord ) {
        word = in.readUTF();
    }
    ...
}

和

@Override
public void write(DataOutput out) throws IOException {
    ...
    boolean hasWord = StringUtils.isNotBlank(word);
    out.writeBoolean(hasWord);
    if(hasWord) {
        out.writeUTF(word);
    }
    ...
}

在Hadoop中使用NullWritable的优点

3 个答案: