在网址:http://www.datastax.com/docs/datastax_enterprise3.2/solutions/about_hadoop
"在生产集群或数据中心启动分析/ Hadoop节点之前,禁用虚拟节点配置非常重要。"
如果我在分析/ Hadoop节点中启用虚拟节点会怎样?
答案 0 :(得分:2)
如果在hadoop节点上启用虚拟节点,则会通过将映射器数量增加到至少虚拟节点数来降低小型Hadoop作业的性能。例如。如果您使用默认的256个vnodes / physical节点设置,则每个Hadoop作业都将启动257个映射器。这些映射器可能只有太少的数据需要处理,服务器将花费大部分时间来管理这些任务,而不是做有用的工作。
在一个不错的硬件上,无数据和256个vnode的作业可能需要大约5-10分钟,这与在没有vnodes的情况下配置时仅需要大约20-40秒的相同作业相反。