如何在Hadoop中实现diff?

时间:2014-02-10 18:14:49

标签: hadoop diff bigdata

我想将本地FS上的数据与Hadoop上的数据进行比较(差异在Hadoop上不起作用) 由于我们正在处理的数据很大,我们不想做'hadoop fs -copyToLocal'并进行比较。 (因为它会很快填满本地存储空间)

有没有办法可以帮助我们比较本地FS和Hadoop FS之间的数据?

1 个答案:

答案 0 :(得分:0)

使用 - diff Localfile<(hadoop fs -cat / HadoopFilePath / file)