我与docker有两个节点。 Zookeeper,Mesos和Spark已安装在每个docker上。我在“ slaves”文件上指定“ slaves”,因为我只有一个主设备和一个从设备。另外,我在同一路径的每个节点上都有一个“ docker-compose.yaml”。我在每个节点中执行“ docker-compose up”。然后在docker内部的主节点中,运行调度程序:
"/home/spark/sbin/start-mesos-dispatcher.sh --master
mesos://150.20.11.136:5050".
之后,我使用以下命令运行程序:
"/home/spark/bin/spark-submit --name test_mesos --master
mesos://150.20.11.136:5050 --executor-cores 4 --executor-memory 6G --
files iran2.npy --py-files a.zip myprogram.py".
运行程序时,出现此错误:
初始工作未接受任何资源;检查您的群集用户界面,以确保工作人员已注册并拥有足够的资源
我搜索了很多东西。第一次启用防火墙时,我禁用了防火墙;但是现在我根本无法工作。此外,我通过docker compose文件中的“ expose”打开了docker中的所有端口。我减少了Submit命令中的资源。但是他们都没有解决我的问题。
您能告诉我我做错了什么吗?
任何帮助将不胜感激。
谢谢。
答案 0 :(得分:0)
我使用此命令运行了docker,并且程序运行无任何错误。但是花了很多时间,我不知道可能是因为Mesos。
Sudo docker run --network host -it ubuntu_mesos_spark_python3.6_oraclient
我希望这一点可以解决其他问题。