我是Hadoop世界的新手。我想知道<K,V>
或InputSampler<K,V>
中InputSampler.Sampler<K,V>
的类型是什么?这等于来自Mapper
的密钥和值?关于的例子
互联网不使用它们。例如,这个link只是在没有泛型的情况下实例化它:
InputSampler.Sampler sampler = new InputSampler.RandomSampler(pcnt, numSamples, maxSplits);
答案 0 :(得分:1)
是,when looking at the code,K表示密钥的类型,V表示值类型。真正的Writable
类型取决于您想要采样的输入类型,在这种意义上 - 是的,它类似于您在Mapper
中使用的输入。
RecordReader<K,V> reader = inf.createRecordReader(splits.get(i), samplingContext);
reader.initialize(splits.get(i), samplingContext);
while (reader.nextKeyValue()) {
samples.add(ReflectionUtils.copy(job.getConfiguration(),
reader.getCurrentKey(), null));
}