Cleo(linkedin的自动完成解决方案)适用于数十亿元素吗?

时间:2012-01-04 19:19:23

标签: java autocomplete linkedin typeahead cleo

Cleo有几种不同类型的前瞻搜索,这些搜索由一些非常聪明的索引策略支持。 GenericTypeahead可能是最大的数据集。 来自http://sna-projects.com/cleo/design.php: “GenericTypeahead专为大型数据集而设计,可能包含数百万个元素......” 遗憾的是,文档没有详细说明Typeahead的扩展程度。有没有人将Cleo用于可能有一些洞察力的非常大的数据集?

1 个答案:

答案 0 :(得分:5)

Cleo用于单个实例/节点(即单个JVM),并且没有任何路由或代理逻辑。在单个Cleo实例中,您可以拥有多个逻辑分区以利用多核CPU。在具有32G-64G内存的典型商品包装盒上,您可以通过设置2个或3个Cleo GenericTypeahead实例轻松支持数千万个元素。

要支持数十亿个元素,您必须使用水平分区在许多商品盒上设置许多Cleo实例,然后进行分散和聚集。

查看https://github.com/jingwei/cleo-primer,了解如何在几分钟内设置单个Cleo GenericTypeahead实例。

干杯。