使用Hazelcast-jet将大型卡夫卡主题读入地图

时间:2019-03-20 01:38:57

标签: hazelcast-jet

我有一个Kafka主题,起初约为100GB,我曾尝试使用Hazelcast-jet读入IMap。机器有足够的内存,我给了它300 GB的堆空间。该主题被划分为147个分区,但是当我运行代码告诉Pipeline从最早的主题中读取主题并将本地并行度设置为84时,该进程似乎并没有使用很多内核,并且运行了一段时间后,该进程似乎并没有使用映射中应该有接近条目数的位置(与同时摄取到Elastic搜索中的数据相比)。现在,该主题已超过500GB,我希望该过程最终会耗尽内存,但它似乎仍不使用许多内核,并且仅加载一部分数据。

有人知道为什么会这样吗?

0 个答案:

没有答案