为什么需要安装Apache Hadoop才能运行Apache Spark ...？

Question

我正在学习Apache Spark，在那里我试图运行一个用Java编写的基本Spark程序。我已经安装了从https://spark.apache.org/下载的Apache Spark（spark-2.4.3-bin-without-hadoop）。

我已经在eclipse中创建了一个maven项目，并添加了以下依赖项：

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.11</artifactId>
  <version>2.4.3</version>
</dependency>

构建项目后，我尝试通过spark配置将sparkMaster = local设置为运行程序，现在遇到以下错误：

java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.

在引用了某些站点之后，我已经安装了hadoop-2.7.7并将“ HADOOP_HOME”添加到我的.bash_profole中。

我可以执行我的Spark程序！

  

现在我需要知道Spark需要在何处以及如何使用Hadoop？