标签: hadoop diff bigdata
我想将本地FS上的数据与Hadoop上的数据进行比较(差异在Hadoop上不起作用) 由于我们正在处理的数据很大,我们不想做'hadoop fs -copyToLocal'并进行比较。 (因为它会很快填满本地存储空间)
有没有办法可以帮助我们比较本地FS和Hadoop FS之间的数据?
答案 0 :(得分:0)
使用 - diff Localfile<(hadoop fs -cat / HadoopFilePath / file)