HDFS联合身份验证和全新的HDFS集群之间有什么区别

Question

我想知道HDFS联合身份验证与全新的HDFS群集之间的区别，我应该使用联合身份验证还是仅构建一个全新的群集？

Answer 1

Federation / ViewFS将允许您从现有群集中访问全新的NameNode（群集）名称服务，或桥接两个现有群集。

Answer 2

通常，当您的群集非常大（超过1000个）时，将使用联邦，而您将要限制存储在HDFS中的存储容量。联合允许您划分名称空间并在一个HDFS实例中维护所有数据。根据您使用数据的方式，可能需要使用联合身份验证或具有多个较小的Hadoop群集，然后在需要在群集之间传输数据时使用distcp。例如，如果您的数据是孤立的，那么使用多个群集将很有意义。如果您的数据已经超出NameNode的内存范围，但是您仍然希望对其进行一些分析，那么联合将是有意义的。

Twitter使用联合身份验证，并在其博客Hadoop filesystem at Twitter中提及。您还可以阅读来自Microsoft的ÍñigoGoiri和来自Uber的Chao Sun的HDFS router-based federation。