我如何知道InputSplit是否已更改?

时间:2018-06-07 02:26:19

标签: hdfs input-split

我正在处理大量的小型hdfs文件。 为了减少org.apache.hadoop.mapreduce.lib.input.CombineFileSplit的编写时间,我想将此拆分文件保存为hdfs文件。但是,可以修改或删除这些文件。 为了避免ChecksumException,每次运行作业时如何检查InputSplit校验和?

0 个答案:

没有答案