警告“可能客户端已关闭套接字”后，giraph仅在大型图形上失败

Question

我在由5个节点组成的EC2集群中使用了giraph-1.3.0.-SNAPSHOT和hadoop-2.8.4（每个人的CPU内存为32 cpus，RAM为60 GB）。

如果我为以giraph实现的算法提供少量输入，则它正常工作。当我进行大量输入时（例如https://snap.stanford.edu/data/web-NotreDame.html），我会收到此警告，并且一段时间后，我的giraph运行失败。

WARN server.NIOServerCnxn: caught end of stream exception EndOfStreamException: Unable to read additional data from client sessionid  likely client has closed socket

我认为这与动物园管理员有关，但我不确定。

Answer 1

您为运行Giraph的JVM分配了多少内存？ 看起来是典型的内存不足错误