Hadoop节点无效

Question

我有1个主节点和1个从属节点。

我的问题是运行地图简化处理时。从节点似乎没有工作。任何人都可以提供有关如何检查，更改并确保从属设备正常工作的帮助？

配置文件信息也可以在下面的URL上找到 https://drive.google.com/file/d/1ULEe6k2zYnfQDQUQIbz_xR29WgT1DJhB/view

这是我的观察

1）当我检查CPU资源利用率时，从设备似乎没有工作，运行映射时CPU资源为0％会减少作业，而主服务器则为44％CPU资源。请参阅附件。

2）当我运行dfs报告时，它显示它具有2个活动节点，但是在群集Web上，它仅显示1。请参阅附件和下面的内容。 3）无论有没有从属，map reduce的总处理时间都是相同的

-------------------------------------------------
Live datanodes (2):

Name: 192.168.249.128:9866 (node-master)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 20587741184 (19.17 GB)
DFS Used: 174785723 (166.69 MB)
Non DFS Used: 60308293 (57.51 MB)
DFS Remaining: 20352647168 (18.95 GB)
DFS Used%: 0.85%
DFS Remaining%: 98.86%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Oct 23 11:17:39 PDT 2018
Last Block Report: Tue Oct 23 11:07:32 PDT 2018
Num of Blocks: 93


Name: 192.168.249.129:9866 (node1)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 20587741184 (19.17 GB)
DFS Used: 85743 (83.73 KB)
Non DFS Used: 33775889 (32.21 MB)
DFS Remaining: 20553879552 (19.14 GB)
DFS Used%: 0.00%
DFS Remaining%: 99.84%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Oct 23 11:17:38 PDT 2018
Last Block Report: Tue Oct 23 11:03:59 PDT 2018
Num of Blocks: 4

Answer 1

您显示的是带有dfsreport的数据节点，而不是实际上正在处理数据的节点管理器。在YARN UI中，您需要记下“活动节点”计数器，在您的情况下为 1 。如果主服务器是名称节点和资源管理器，而从服务器是数据节点和节点管理器，那将很有意义。

除此之外，如果您有一个不可拆分的文件（例如ZIP），或者文件小于块大小（默认为128 MB），则只有一个映射器将处理该文件。另外，不能保证映射器（或化简器）会在所有可用资源上平均分配

不过，在学习环境之外，40 GB的存储空间和8 GB的RAM最好用于多线程而不是分布式计算（或适当的数据库；即解析文件并将其加载到可查询的存储中）。或使用Spark或Pig，它们不需要Hadoop，但比MapReduce容易使用