内存配置

Question

我对内存配置有疑问。我正在使用Spark，Cassandra，Hadoop，Thrift和Yarn运行3节点集群。我想将我的文件存储在hdfs中，所以我加载了hadoop。我发现在运行查询时我的内存不足。我能够弄清楚如何限制cassandra以低于4gb的速度运行。 hadoop有这样的设置吗？纱线怎么样？由于我只使用hadoop来加载我的平面文件，我认为将其设置为1或2gb应该没问题。我的盒子有32GB的ram和16个核心。

Answer 1

如果没有您所面临的错误消息，很难说。但是，如果您想检查工作人员的内存分配情况，可以在<name>yarn.nodemanager.resource.memory-mb</name> <value>40960</value> <!-- 40 GB --> <name>yarn.scheduler.maximum-allocation-mb</name> <!-Max RAM-per-container-> <value>8192</value> 设置这两种配置：

{{1}}

您可以在此question中查看更多详细信息。