hadoop

Question

最近我开始学习hadoop multi cluster

文件系统如何在hadoop中运行。

例如。如果我有一个完整的农民详细信息的test.txt文件。 我是否需要在主HDFS服务器或从服务器上传文件。

Answer 1

首先，你需要将文件：text.txt上传到集群的一个节点（可以是主服务器或从服务器），例如，上传到/ tmp foler，你得到：/tmp/text.txt，然后使用命令：

# hadoop fs -put /tmp/text.txt /tmp

然后使用命令：

# hadoop fs -ls /tmp

你会找到文件：text.txt已经在那个hdfs文件夹中：/ tmp

Answer 2

要了解Hadoop文件系统的工作原理，请参阅本书 Hadoop：权威指南

暂时，要将文件加载到HDFS，您只需要从集群的edgenode运行-put或-copyFromLocal命令（意味着您可以从中运行hadoop命令）和休息将由Hadoop框架处理。 您的命令可能看起来像

hadoop fs设置

$ hadoop fs -copyFromLocal /home/user1/farmer_details.txt /user/user1

或

$ hadoop fs -put /home/user1/farmer_details.txt /user/user1

您还可以尝试hdfs dfs设置

$ hdfs dfs -copyFromLocal /home/user1/farmer_details.txt /user/user1

或

$ hdfs dfs -put /home/user1/farmer_details.txt /user/user1

其中/home/user1/farmer_details.txt是本地文件系统中的源位置，/user/user1是hadoop文件系统中的目标位置。

要验证上传的文件，您可以运行命令

$ hadoop fs -ls /user/user1

您应该获得/user/user1/farmer_details.txt个文件。