Datastax hadoop节点基础知识

时间:2014-11-21 04:35:08

标签: hadoop cassandra datastax-enterprise datastax

我正在尝试在我的datastax企业集群中设置一些hadoop节点以及一些cassandra节点。在这一点上,我不清楚两件事情。一,我需要多少个hadoop节点?是否是相同数量的cassandra节点?数据是否仍然存在于cassandra节点上?第二 - 教程提到我应该在hadoop节点上禁用vnode。我还可以在该群集中的cassandra节点上使用vnode吗?谢谢。

1 个答案:

答案 0 :(得分:4)

在Datastax Enterprise中,您在运行Cassandra的节点上运行Hadoop。最常见的部署是制作两个数据中心(节点的逻辑分组)。一个数据中心专门用于分析,包含同时运行Hadoop和C *的机器,另一个数据中心仅为C *,并且服务于OLTP功能。你的集群。 Analytics节点上的C *进程连接到群集的其余部分(与任何其他C *节点一样),并在写入突变时接收更新,以便最终与数据库的其余部分保持一致。数据存在于这些节点上以及群集中的其他节点上。同样,大多数人最终都拥有NetworkTopologyStrategy的复制模式,该模式在其C * only DC中指定了几个副本,在他们的Analytics DC中指定了一个副本,但您的用例可能不同。两个数据中心的节点数不必相等。

对于第二个问题,是的,您可以在仅C *数据中心中启用Vnode。此外,如果您的批处理作业的大小非常大,您还可以在分析数据中心中运行vnode,只会轻微地影响性能。同样,这完全基于您的用例。如果您想要更快更短的分析作业,则不希望在Google Analytics数据中心中启用vnode。