火花纱簇的预安装

Question

我试着用纱线做一个火花簇。 我需要在所有节点上安装纱线吗？ 我知道纱线将运送所有需要罐子和MR但是要拿它们，我认为工人节点需要纱线包装。主节点应该安装HDFS和jar以及纱线。

Answer 1

YARN需要两个流程

1. 资源经理
2. 节点管理器

资源管理器是委派任务的主人。节点管理器是从属于特定工作的从属设备。 您必须在一台计算机（生产级服务器）上安装资源管理器，在所有从属计算机（商用硬件）上安装节点管理器。

HDFS需要以下过程

1. 的NameNode
2. 数据管理部
3. SecondaryName

NameNode和Secondary NameNode将安装在两台独立的计算机（生产级服务器）和所有从属计算机（商用硬件）上的DataNode上。

通常，DataNode和NodeManager将一起安装在所有从属节点上。

Answer 2

不确定，你想要做什么。

由于hadoop 2.0纱线是hadoop不可或缺的一部分。 因此，如果您安装hadoop，纱线会自动安装。

当您使用提供的脚本启动hadoop时，它们将启动hadoop堆栈。 然后你可以使用提供的脚本来启动纱线。

然后安装spark，并指向它使用hadoop安装和配置库。

无需手动安装纱线的细节。