在spark独立群集模式下运行spark所需的最低硬件缺陷是多少？

Question

我在本地计算机上运行spark独立群集模式。这是关于我的计算机的硬件信息

Intel Core i5
处理器数量：1 核心总数：2
内存：4 GB。

我正试图在spark独立集群上运行来自eclipse的spark程序。这是我代码的一部分。

  String logFile = "/Users/BigDinosaur/Downloads/spark-2.0.1-bin-hadoop2.7 2/README.md"; // 
 SparkConf conf = new SparkConf().setAppName("Simple Application").setMaster("spark://BigDinosaur.local:7077"));

在eclipse中运行程序后，我收到以下警告信息

初始职位未接受任何资源;检查您的群集UI以确保工作人员已注册并具有足够的资源

这是我的网络用户界面

的屏幕截图

经过其他人对类似问题的回答后，似乎硬件资源不匹配是根本原因。

我想了解更多关于

的信息

spark独立群集在其上运行应用程序所需的最低硬件缺陷是什么？

Answer 1

我运行以下命令后开始运行 ./start-slave.sh spark：// localhost：7077 --cores 1 --memory 1g

我给了核心1和内存1 g

Answer 2

据我所知。 Spark从火花作业启动时可用的任何内存中分配内存。

您可能希望尝试在开始工作时明确提供内核和执行程序内存。