在hadoop上安装spark

Question

我在我的mac上安装了hadoop 2.7。然后我想在它上面安装火花。但是这里没有任何文件。任何人都可以一步一步地解释如何在hadoop上安装spark？

Answer 1

安装Apache Spark的步骤

1）打开Apache Spark网站http://spark.apache.org/

2）点击“下载”标签，新页面将打开

3）选择预构建的Hadoop 2.7及更高版本

4）选择直接下载

5）点击Download Spark：spark-2.0.2-bin-hadoop2.7.tgz并将其保存在您想要的位置。

6）转到已下载的Tar文件并将其解压缩。

7）再次提取spark-2.0.2-bin-hadoop2.7.ta​​r [文件名随版本变化而不同]生成spark-2.0.2-bin-hadoop2.7文件夹

8）现在打开Shell提示符并转到spark-2.0.2-bin-hadoop2.7文件夹的bin目录[文件夹名称因版本更改而有所不同]

9）执行命令spark-shell.sh

您将在Spark Shell中执行spark命令

https://spark.apache.org/docs/latest/quick-start.html＆lt; - 来自spark的快速入门指南

希望这有助于!!!

Answer 2

为了在纱线群上运行火花，有很多步骤来安装hadoop和spark所有这些我一步一步地写一个博客你可以安装它并在纱线上运行火花壳看到下面的链接

https://blog.knoldus.com/2016/01/30/spark-shell-on-yarn-resource-manager-basic-steps-to-create-hadoop-cluster-and-run-spark-on-it/

Answer 3

以下是我使用 hadoop 将 Apache Spark 安装到 Linux Centos 系统的步骤：

• 安装默认 Java 系统（例如：sudo yum install java-11-openjdk）
• 从 spark.apache.org 下载最新版本的 Apache Spark
• 提取 Spark tarball (tar xvf spark-2.4.5-bin-hadoop2.7.tgz)
• 将解压后创建的 Spark 文件夹移动到 /opt/ 目录 (sudo mv spark-2.4.5-bin-hadoop2.7/ /opt/spark)
• 如果您想使用 Scala，请使用命令 /opt/spark/bin/spark-shell 执行；如果您想使用 Python，请使用 /opt/spark/bin/pyspark 执行