将文件迁移到hdfs后的数据比较

Question

我是Hadooop的新手。我有一个源Excel文件或任何平面文件，我希望将同一文件从本地文件系统移动到hdfs。迁移后，我想比较这两个文件，以检查数据是否已正确迁移（文件比较程序）以获取报告（对帐数据不匹配） EX：想象一下，我在Excel文件中有一些名字。

如果有人帮助我会很棒。

由于

Answer 1

为什么不安装hdfs文件浏览器，例如Hue。使用此工具，您应该能够从GUI查看hdfs内的所有文件。

Answer 2

我也有类似的用例。 您可以在源和目标上执行字节计数，如下所示：

对于本地文件系统：

    du -h <source-file-path>

对于hadoop位置：

    Hadoop fs -du -h <hadoop-target-path>

如果数据加载正确，则字节大小将匹配。 希望这可以帮助。