火花与纱线聚类

时间:2017-02-20 06:07:10

标签: hadoop apache-spark docker

我想用纱线制作火花聚类。 我需要吗

  1. 使用yarn config安装hadoop master和slave?
  2. 分别安装hadoop master / slaves和yarn master / slaves?
  3. 如果1没问题,我将使用此泊坞窗图片(link)。这适合吗?

1 个答案:

答案 0 :(得分:1)

使用纱线配置安装hadoop主机和从机就足以在纱线上运行火花,但是您还需要确保下载的火花版本支持纱线。一旦安装了火花应该能够进入纱线配置,并且所需的与纱线相关的罐子文件也在火花的路径上。