快速检查价值？

Question

我有一个50,000,000+ 512位值的列表。

我有每秒1,750,000个值的数据流，我需要检查这些值是否在上述列表中。

目前，我已经使用键上的EXISTS命令在c中选择了通过hiredis进行redis。这是非常快的，我设法检查每秒约160,000个值。

然而，我真的需要这样做10 *，因为它造成了瓶颈。有什么想法吗？

Answer 1

假设输入流中的大多数值不在列表中，那么听起来像Bloom Filter可能有助于筛选出明确不在列表中的值。