如何从tarball单独安装Spark和Hadoop [Cloudera]

Question

我想使用tarball安装Hadoop和Spark的Cloudera发行版。 我已经在我的本地机器中以伪分布式模式设置了Hadoop并成功运行了一个Yarn示例。

我已从here

下载了最新的tarball CDH 5.3.x.

但是从Cloudera下载的Spark的文件夹结构与Apache网站不同。这可能是因为Cloudera提供了自己独立维护的版本。

因此，由于没有文档，我发现尚未分别从这个Cloudera的tarball安装Spark。 有人可以帮我理解怎么做吗？

Answer 1

可以将Spark解压缩到任何目录。您只需运行带有必需参数的./bin/spark-submit命令（在提取的spark目录中可用）来提交作业。要启动spark interactive shell，请使用命令./bin/spark-shell。