Apache Flink:独立群集尝试连接用户名" flink"

时间:2018-03-02 12:57:19

标签: java apache timeout akka apache-flink

对于我的硕士论文,我试图在4个节点上建立一个flink独立集群。我已经完成了文档,它非常巧妙地解释了如何设置它。但是当我启动群集时会出现警告,当我尝试运行某个作业时,会出现相同消息的错误:

akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka.tcp://flink@MYHOSTNAME:6123/user/jobmanager#-818199108]] after [10000 ms]. Sender[null] sent message of type "org.apache.flink.runtime.messages.JobManagerMessages$LeaderSessionMessage"

增加超时并没有奏效。当我在Web UI中打开taskmanagers时,它们都具有以下模式:

akka.tcp://flink@MYHOSTNAME:33779/user/taskmanager

是否有人知道如何解决此问题以使群集正常工作?提前谢谢!

最后一件事:没有用户" flink"在群集上并且不会被创建。所以任何建议,而不告诉我,我应该创建该用户将非常感激!谢谢!

1 个答案:

答案 0 :(得分:0)

不确定它是否仍然有用,但是我做的方式(使用Flink 1.5.3):

我通过以下方式设置了一个具有3个主服务器(JobManager)和20个从属服务器(TaskManager)的HA独立群集。

  1. 定义conf / masters文件(每行主机名:8081)
  2. 定义您的conf / slaves文件(每行的每个taskmanager主机名)
  3. 在每台主机上的flink-conf.yaml中定义其自己的 jobmanager.rpc.address 主机名
  4. 在每台从属计算机的flink-conf.yaml中将 jobmanager.rpc.address 定义为localhost
  5. 设置完所有内容后,请在任何主主机上执行bin / start-cluster.sh。

如果需要HA,则需要设置Zookeeper仲裁并修改与HA有关的相应属性(高可用性,high-availability.storageDir,high-availability.zookeeper.quorum)