我们可以使用cloudera CDH5配置生成器吗？

Question

我使用5节点cloudera集群（4个datanode和1个namenode）来运行CDH5认证套件。

五个节点中的每一个都有128GB的RAM和40个CPU核心。 证书。套件因OutOfMemory错误而失败。

（我很难在过去的7-8天内解决这个问题而没有成功。它也因默认的CDH配置设置而失败） 我已经尝试通过改变HDFS和YARN配置的组合来运行测试套件。 （包括JAVA_OPTS / MAVEN_OPTS）等。

我在想如果有一个设置/应用程序或某些东西可以为给定的群集设置生成所有理想的配置文件，那对用户来说将是非常有用/容易的。 （考虑RAM / CPU等） 即需要信息。从用户喜欢多少节点，每个节点RAM，每个节点CPU等，并生成yarn，hdfs配置参数。

Answer 1

我们遇到了同样的问题，结果发现NFS很慢。从NFS切换到本地文件系统减少了OOM错误。