如何计算创建igniteRDD所需的内存

时间:2017-10-23 18:25:16

标签: apache-spark memory-management datagrid rdd ignite

任何人都可以帮助我理解, 如何完成内存计算,在IgniteRDD中存储A String,long变量和int变量。 我去了论坛并找到了不同的答案,我对如何计算应用程序的内存需求感到困惑。

我试图用2个字符串,1个int和2个长变量来计算48亿条记录。

非常感谢任何帮助。

此致 D V Nithin

1 个答案:

答案 0 :(得分:1)

请参阅https://apacheignite.readme.io/docs/capacity-planning

另外,为了估算内存大小 - 我建议多次加载各种大小的数据并测量它所消耗的内存。它将帮助您了解所需的大致内存大小。这些指标可以帮助您:https://apacheignite.readme.io/docs/memory-metrics