启动火花任务时,一个节点cassanda超载

时间:2015-12-06 14:18:37

标签: apache-spark cassandra spark-cassandra-connector

我有20个节点集群,cassandra 2.1.11,独立spark 1.5和cassandra-connector 2.10:1.5。当我运行spark任务时,他们成功完成了,但是在开始任务时,其中一个节点非常超载(os加载约90%,cassandra堆使用率为100%),否则另一个节点保持10%使用率cpu和20%堆usege。几秒钟之后,堆正常(3-4Gib),但在某些情况下,我有OutOfMemory(通过堆)或/和GC长暂停。在所有测试中,单个重载节点是相同的。

所有节点都具有相同的cassandra参数,xmx = 19Gib。

如何解决单个cassandra节点重载?

0 个答案:

没有答案