Edge Node hortonworks使用情况

时间:2018-02-19 17:33:22

标签: hadoop hdfs hortonworks-data-platform

我有一个配置了HA的6个节点(2个主服务器+4个从服务器)生产集群。

实际拓扑结构为:

  • 硕士1:

    • Active HBase Master
    • Hive Metastore
    • HiveServer2
    • HST服务器
    • Knox Gateway
    • Active NameNode
    • Oozie Server
    • Active ResourceManager
    • WebHCat服务器
    • ZooKeeper Server
    • HST代理
    • JournalNode
    • 指标监控
  • 硕士2:

    • 应用程序时间线服务器
    • 待机HBase Master
    • 历史服务器
    • Infra Solr Instance
    • 指标收集器
    • Grafana
    • 备用NameNode
    • 备用ResourceManager
    • Spark2历史服务器
    • Zeppelin Notebook
    • ZooKeeper Server
    • HST代理
    • JournalNode
    • 指标监控
    • 客户
  • SLAVE 1/2/3:

    • 数据管理部
    • RegionServer的
    • HST代理
    • 节点管理器
    • MetricsMonitoring

    • 其中一个从属节点包含:JournalNode + Zookeeper Server

现在我们计划添加一些Edge Node

我们的计划是:

  • SQL Edge节点:
    • HCatalog
    • HiveServer2
    • WebHCat
  • 管理员边缘节点
    • Ambari Server
    • 游侠
  • 沿袭边缘节点
    • 工作历史记录服务器
    • Spark2历史服务器
    • 应用程序时间线服务器
    • Slider Registry Server
  • 最终用户访问边缘节点
    • 色相
  • Knox Edge Node
    • Knox Gateway
  • 安排边缘节点
    • Oozie Server
    • 猎鹰
你怎么看?

最佳做法是什么?

从主/从节点移动到Edge节点的组件是什么?

谢谢

1 个答案:

答案 0 :(得分:1)

边缘节点仅用于客户端。没有主人/奴隶。在使用hdfs dfs -put

之前,除磁盘空间之外的非常少的资源可能是用于SCP文件

Knox Gateway本身在某种程度上被自我描述为一个安全的边缘节点,代理到群集中。取决于您是否实际使用它。

如果您没有使用HBase&然后,Zeppelin可能会从群集中删除它们。如果您拥有可用资源,HBase应该位于自己的专用服务器上

Zookeeper也是如此 - 理想情况下,这些应该分开以获得最佳吞吐量。