SPARK:WARN TaskSchedulerImpl:初始作业未接受任何资源

时间:2015-11-15 21:56:58

标签: ssh apache-spark bigdata scheduling spark-streaming

所以我试图从以下链接在ubuntu上安装Apache Spark 1.2.1独立群集。 How to install

但是,我没有在VmWare Workstation中从主服务器克隆从服务器,而是使用了两台不同的计算机。

我在spark-env.sh

中声明了以下变量
# - SPARK_MASTER_IP, to bind the master to a different IP address or hostname
export SPARK_MASTER_IP=<master-node IP>
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
# - SPARK_WORKER_CORES, to set the number of cores to use on this machine
export SPARK_WORKER_CORES=1
# - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g)
export SPARK_WORKER_MEMORY=200m
# - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker
# - SPARK_WORKER_INSTANCES, to set the number of worker processes per node
export SPARK_WORKER_INSTANCES=2

现在我运行以下命令

./sbin/start-all.sh

虽然在从机上,系统监视器中出现了2个java进程,但主节点系统的UI没有显示任何工作节点。

当我运行命令时仍在继续

MASTER=spark://<master node ip>:7077 ./bin/spark-shell

出现以下错误

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

我确保在需要时放置系统的正确IP,并尝试减少分配给工作节点的内存..但问题仍然存在。

请帮助。

此外,任何有关在火花中进行流式传输的指导/参考[火花节目指南除外]都将受到赞赏。

1 个答案:

答案 0 :(得分:0)

由于工作节点的内存不足而发生错误。

以下两种解决方案是可能的:

  • 尝试为工作虚拟机分配更多内存。
  • 减少分配给&#34; spark-env.sh&#34;中的工作节点的内存。 文件。