这可能是一个愚蠢的问题,但我对Hadoop很新。
我有一个unix服务器路径/tmp/abc
,我正在使用hadoop连接从Informatica BDM编写文件test.txt。 Hadoop集群的一部分驻留在此unix服务器中。
现在我的问题在于什么时候
ls /tmp/abc
和
hadoop fs -ls /tmp/abc
第二个命令显示文件但不显示第一个文件。
有人可以澄清吗?
答案 0 :(得分:0)
hadoop fs
是在Hadoop客户端中配置的Hadoop文件系统。这通常是HDFS,但它也可以是本地file
,AWS s3
,Azure wasb
等。所有这些基本上都是许多机器上文件系统的抽象。
任何不使用hadoop
命令的东西都只是本地磁盘挂载。
您可以通过比较hadoop fs -ls file:///tmp/abc
答案 1 :(得分:0)
不是真正的Informatica相关问题;)无论如何,据我所知HDFS是......好吧,一个文件系统。因此,您将无法通过shell命令查看文件,检查您的外部'文件系统,无论是Unix还是Windows。
这就是你需要使用hadoop fs -ls
的原因 - 这样你就可以让Hadoop在你的Hadoop文件系统上运行ls
命令。
这里有一些可能有用的东西:
http://www.bmcsoftware.pl/guides/hadoop-hdfs.html
https://hortonworks.com/blog/windows-explorer-experience-hdfs/