Raspberry PI 3 Spark集群:WARN TaskSchedulerImpl:初始作业未接受任何资源

时间:2017-11-03 09:49:18

标签: scala hadoop raspberry-pi cluster-computing

我在3节点集群上成功安装了Hadoop,并且能够跨集群运行map-reduce程序。我想比较map reduce和Spark的性能,所以我安装了Spark。 我想比较运行在map reduce上的wordcount程序和运行Spark的wordcount程序。

我遵循了这个教程: http://bailiwick.io/2015/07/07/create-your-own-apache-spark-cluster-using-raspberry-pi-2/

我将其中一个Raspberry Pi节点配置为Master,将另外两个配置为Slave。

spark-env.sh(所有节点都一样) enter image description here

奴隶(所有节点都一样) enter image description here

这是我在Scala上运行的代码:

/opt/spark/bin/spark-shell --master spark://node1:7077

val changeFile = sc.textFile("/opt/spark/mediumfile.txt")
val changeFileLower = changeFile.map(_.toLowerCase)
val changeFlatMap = changeFileLower.flatMap("[a-z]+".r findAllIn _)
val changeMR = changeFlatMap.map(word => (word,1)).reduceByKey(_ + _)
changeMR.take(10)

当控制台执行代码的最后一行时,它会显示以下错误: WARN TaskSchedulerImpl:初始作业未接受任何资源;检查您的集群UI以确保工作人员已注册并具有足够的资源

我试图增加spark-env.sh文件中的worker内存或包含内核数量,但没有任何效果。

0 个答案:

没有答案