Question

我想运行一个简单的火花程序，但我受到一些错误的限制。我的环境是： CentOS的：的 6.6 Java： 1.7.0_51 Scala： 2.10.4 Spark： spark-1.4.0-bin-hadoop2.6 Mesos： 0.22.1

所有已安装且节点已启动。现在我有一个Mesos主节点和Mesos从节点。我的火花属性如下：

spark.app.id            20150624-185838-2885789888-5050-1291-0005
spark.app.name          Spark shell
spark.driver.host   192.168.1.172
spark.driver.memory 512m
spark.driver.port   46428
spark.executor.id   driver
spark.executor.memory   512m
spark.executor.uri  http://192.168.1.172:8080/spark-1.4.0-bin-hadoop2.6.tgz
spark.externalBlockStore.folderName spark-91aafe3b-01a8-4c86-ac3b-999e278807c5
spark.fileserver.uri    http://192.168.1.172:51240
spark.jars  
spark.master            mesos://zk://192.168.1.172:2181/mesos
spark.mesos.coarse  true
spark.repl.class.uri    http://192.168.1.172:51600
spark.scheduler.mode    FIFO

现在当我开始点火时，它会出现在scala提示符下（scala＆gt;）。在那之后我得到以下错误：mesos任务1现在是TASK_FAILED，由于太多故障黑名单mesos slave值，因此安装了Spark 如何解决这个问题。

Answer 1

只有900MB和spark.driver.memory = 512m，您将能够启动调度程序/ REPL，但您没有足够的spark.executor.memory = 512m内存，因此任何任务都将失败。增加VM内存大小或降低驱动程序/执行程序内存要求将有助于您绕过这些内存限制。

Answer 2

您是否可以检查mesos slave日志/任务信息，以获取有关任务失败原因的更多输出。你可以看看：5050。

可能无关的问题：你真的有动物园管理员：

spark.master mesos://zk://192.168.1.172:2181/mesos

跑步（如你所说，你只有一个主人）？

使用Zookeeper在Mesos上运行简单的Spark脚本

2 个答案: