Hadoop ls vs unix ls

时间:2018-03-27 03:33:38

标签: hadoop

这可能是一个愚蠢的问题,但我对Hadoop很新。 我有一个unix服务器路径/tmp/abc,我正在使用hadoop连接从Informatica BDM编写文件test.txt。 Hadoop集群的一部分驻留在此unix服务器中。 现在我的问题在于什么时候 ls /tmp/abchadoop fs -ls /tmp/abc 第二个命令显示文件但不显示第一个文件。 有人可以澄清吗?

2 个答案:

答案 0 :(得分:0)

当然,

hadoop fs是在Hadoop客户端中配置的Hadoop文件系统。这通常是HDFS,但它也可以是本地file,AWS s3,Azure wasb等。所有这些基本上都是许多机器上文件系统的抽象。

任何不使用hadoop命令的东西都只是本地磁盘挂载。

您可以通过比较hadoop fs -ls file:///tmp/abc

使两个命令相同

答案 1 :(得分:0)

不是真正的Informatica相关问题;)无论如何,据我所知HDFS是......好吧,一个文件系统。因此,您将无法通过shell命令查看文件,检查您的外部'文件系统,无论是Unix还是Windows。

这就是你需要使用hadoop fs -ls的原因 - 这样你就可以让Hadoop在你的Hadoop文件系统上运行ls命令。

这里有一些可能有用的东西:

http://www.bmcsoftware.pl/guides/hadoop-hdfs.html

https://hortonworks.com/blog/windows-explorer-experience-hdfs/