如何使用Datastax spark最好地管理我的所有节点CPU，内存和存储？

Question

我现在有一个包含4个spark节点和1个solr节点的集群，并使用cassandra作为我的数据库。我想将中期节点增加到20，从长期增加到100.但Datastax似乎不支持Mesos或Yarn。我如何才能最好地管理所有这些节点的CPU，内存和存储？ Mesos甚至需要20或100个节点吗？到目前为止，我无法使用datastax找到任何此类示例。我通常没有需要完成的工作，但我正在运行连续的数据流。这就是为什么我甚至想要删除Datastax，因为在我看来，如果没有YARN或Mesos，我无法有效地管理这么多节点，但也许有一个更好的解决方案我还没有想过？我也在使用python，所以Yarn是我唯一的选择。

如果您有任何建议或最佳实践示例，请与我们联系。

谢谢！

Answer 1

如果您想使用支持的Hadoop / Yarn环境运行DSE，您需要使用BYOH，请阅读HERE在BYOH中，您可以在DSE中运行内部Hadoop平台，也可以运行Cloudera或HDP YARN和其他任何可用的平台。