Samza是否与HA中的ResourceManager一起使用?

时间:2015-11-03 10:45:53

标签: hadoop yarn apache-samza

有没有人让Samza与HA的资源经理合作?如果是,我应该在yarn.resourcemanager.hostname中将yarn-site.xml设置为什么?

如果我将其设置为我的第一个RM,如果我从该RM提交作业并且RM是活动的,则作业提交正常。如果我运行作业提交的RM计算机未处于活动状态,则会在端口8032上收到连接拒绝错误。

1 个答案:

答案 0 :(得分:1)

是的,我们在HA模式下使用RM运行samza。基本上确保yarn-site.xml具有以下定义的属性以确保。如果第一个RM没有成功,这将确保作业提交将尝试连接到其他RM。

    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>yarn.resourcemanager.cluster-id</name>
      <value>yarn_cluster_id</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>rm1,rm2</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm1</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>yarn_resource_manager2_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm1</name>
      <value>yarn_resource_manager_hostname:8032</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm2</name>
      <value>yarn_resource_manager2_hostname:8032</value>
    </property>