在docker中的Mesos上运行Spark时出错

时间:2019-01-27 12:18:34

标签: docker apache-spark apache-zookeeper mesos

我与docker有两个节点。 Zookeeper,Mesos和Spark已安装在每个docker上。我在“ slaves”文件上指定“ slaves”,因为我只有一个主设备和一个从设备。另外,我在同一路径的每个节点上都有一个“ docker-compose.yaml”。我在每个节点中执行“ docker-compose up”。然后在docker内部的主节点中,运行调度程序:

  "/home/spark/sbin/start-mesos-dispatcher.sh     --master 
  mesos://150.20.11.136:5050".

之后,我使用以下命令运行程序:

 "/home/spark/bin/spark-submit --name test_mesos --master 
 mesos://150.20.11.136:5050 --executor-cores 4 --executor-memory 6G -- 
 files iran2.npy --py-files a.zip myprogram.py".

运行程序时,出现此错误:

  

初始工作未接受任何资源;检查您的群集用户界面,以确保工作人员已注册并拥有足够的资源

我搜索了很多东西。第一次启用防火墙时,我禁用了防火墙;但是现在我根本无法工作。此外,我通过docker compose文件中的“ expose”打开了docker中的所有端口。我减少了Submit命令中的资源。但是他们都没有解决我的问题。

您能告诉我我做错了什么吗?

任何帮助将不胜感激。

谢谢。

1 个答案:

答案 0 :(得分:0)

我使用此命令运行了docker,并且程序运行无任何错误。但是花了很多时间,我不知道可能是因为Mesos。

Sudo docker run --network host -it ubuntu_mesos_spark_python3.6_oraclient

我希望这一点可以解决其他问题。