所以我试图从以下链接在ubuntu上安装Apache Spark 1.2.1独立群集。 How to install
但是,我没有在VmWare Workstation中从主服务器克隆从服务器,而是使用了两台不同的计算机。
我在spark-env.sh
中声明了以下变量# - SPARK_MASTER_IP, to bind the master to a different IP address or hostname
export SPARK_MASTER_IP=<master-node IP>
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
# - SPARK_WORKER_CORES, to set the number of cores to use on this machine
export SPARK_WORKER_CORES=1
# - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g)
export SPARK_WORKER_MEMORY=200m
# - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker
# - SPARK_WORKER_INSTANCES, to set the number of worker processes per node
export SPARK_WORKER_INSTANCES=2
现在我运行以下命令
./sbin/start-all.sh
虽然在从机上,系统监视器中出现了2个java进程,但主节点系统的UI没有显示任何工作节点。
当我运行命令时仍在继续
MASTER=spark://<master node ip>:7077 ./bin/spark-shell
出现以下错误
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
我确保在需要时放置系统的正确IP,并尝试减少分配给工作节点的内存..但问题仍然存在。
请帮助。
此外,任何有关在火花中进行流式传输的指导/参考[火花节目指南除外]都将受到赞赏。
答案 0 :(得分:0)
由于工作节点的内存不足而发生错误。
以下两种解决方案是可能的: