HDFS数据分发

Question

我是Hadoop的新手，并开始学习它。关于在HDFS上分发我们的数据，我有一个问题。

假设我们有平面文件形式的100 TB数据。

1. 我们最初会在哪里加载数据？在主节点上？

2. Hadoop是否在群集上自行分发数据？或者我们必须自己做吗？

Answer 1

您好，请在下面找到答案，

Ans 1）Hadoop遵循主从架构。

• 名称（主）节点。
• 数据节点。
  

名称节点是主节点，数据节点是从节点。存储在数据节点和主/名节点中的数据存储文件元数据信息。喜欢存储文件的块信息，文件大小，文件权限等。 有关详细信息，您可以阅读文档＆＃34;文件写入剖析＆＃34;在Hadoop明确的指导书。

Ans 2）。 Hadoop负责数据分发。在Hadoop中，数据分发基于文件大小完成。默认块大小为128 MB，可配置。如果您的文件大小为256 MB。 256/128 = 2.您的文件将并行存储在2个块中，并以顺序方式创建副本。