Hadoop集群 - 正常和安全形式的集群之间的性能差异

时间:2017-05-18 02:43:52

标签: performance hadoop kerberos hadoop2

普通Hadoop集群和配置了Kerberos和SSL的安全Hadoop集群之间的性能是否存在差异?

考虑到两种类型的群集的机器配置相同,完成作业所需的时间是否不同?如果是,我们是否有任何关于时差的已知时间指标?像,

  • 正常群集 - 1.5小时
  • 安全群集 - 2.5小时

1 个答案:

答案 0 :(得分:2)

是。由于Kerberos和SSL,所有API调用都有开销。

作业完成时间会有所不同,但如果不知道在作业中调用API的次数,就无法知道这是多少。一般而言,影响将是最小的,但由于您在工作流程(KDC)中引入了另一个网络组件,因此您可能会遇到严重的降级 取决于群集的大小以及KDC与群集之间的任何网络问题,以及KDC的配置方式。有关详细信息,请参阅以下内容。

https://community.hortonworks.com/questions/31205/performance-impact-of-security-ssl-tde-ranger-kerb.html

https://www.cloudera.com/documentation/enterprise/5-8-x/topics/impala_scalability.html#kerberos_overhead_cluster_size

HTTP vs HTTPS performance