我有两个已在其上安装了docker的节点。此外,我已经在docker上安装了Apache Mesos。首先,我在docker中运行以下命令,结果未显示任何内容:
/home/flink-1.7.0/bin/mesos-appmaster.sh -Djobmanager.heap.mb=1024 -Djobmanager.rpc.port=6123 -Drest.port=8081 -Dmesos.resourcemanager.tasks.mem=1024 -Dtaskmanager.heap.mb=1024 -Dtaskmanager.numberOfTaskSlots=2 -Dparallelism.default=2 -Dmesos.resourcemanager.tasks.cpus=1
之后,我运行以下命令来运行我的jar文件:
/home/flink-1.7.0/bin/flink run -m 172.28.10.133:5050 /home/Flink_Cassandra_test_jar/Flink_Cassandra_test.jar
在那之后,我得到这个错误:
org.apache.flink.client.deployment.ClusterRetrieveException:无法检索独立群集
顺便说一句,我也配置了Zookeeper。另外,我在Flink yaml文件中添加了以下两行:
jobmanager.rpc.address: 150.20.11.133
high-availability: zookeeper
high-availability.zookeeper.quorum: 150.20.11.133:2181
请告诉我如何在mesos群集上运行flink jar文件?
任何帮助将不胜感激。
答案 0 :(得分:1)
在flink-conf.yaml
文件中填写此参数。
mesos.master: IP-MASTER-MESOS:5050
mesos.initial-tasks: 10
mesos.resourcemanager.tasks.container.type: mesos
jobmanager.heap.mb: 1024
jobmanager.web.address: 130.239.48.136
jobmanager.web.port: 8081
mesos.resourcemanager.tasks.mem: 4096
taskmanager.heap.mb: 3500
mesos.resourcemanager.tasks.cpus: 2
mesos.resourcemanager.tasks.disk: 4096
mesos.resourcemanager.tasks.taskmanager-cmd: "/home/flink/flink-1.9.0/bin/mesos-taskmanager.sh"
mesos.resourcemanager.artifactserver.ssl.enabled: false
mesos.resourcemanager.framework.name: "FLINK_on_MESOS_intensive_cpu_usage"
然后运行您的应用程序:
/home/flink/flink-1.9.0/bin/flink run -c org.sense.flink.App /home/flink/explore-flink/target/you-application-flink.jar
Mesos将部署任务管理器,并按需分配给Flink。