如何使用YARN在Hadoop集群中安装应用程序?

时间:2017-01-12 10:03:35

标签: docker containers yarn hadoop2 cgroups

我正在努力学习YARN。但我遇到了障碍。 我有一些问题。

  1. 对于每个应用程序,数据节点必须各有一个容器。       但是,这些容器是自己创建的,在运行应用程序时还是需要创建它们?

  2. 在泊坞窗中,您可以访问容器,这些容器本身就像单独的计算机一样。我们可以类似的方式访问容器吗?

  3. 在dockers中,容器无法在容器外部看到,并且由于它具有容器进程ID而在其自身的系统中运行,并且从主机也具有进程ID。换句话说,容器与其他过程隔离。 YARN中是否也有类似的概念?

  4. 先谢谢!!! :)

1 个答案:

答案 0 :(得分:0)

YARN不是你想象的那样。它不适用于启动docker容器。 YARN用于启动分布式应用程序(Spark,MapReduce等)。

  1. 您无法在YARN中“安装”应用。您可以在YARN中“运行”应用程序。

  2. 容器是YARN抽象,用于指定分布式应用程序的每个进程都将使用YARN分配给它的有限资源执行。您无法访问容器,因为它只是一个java进程。

  3. 正如我之前提到的,YARN中的容器是一个正常的linux进程。您可以通过执行类似“ps”的操作来查看其pid。