如何在蒸汽数据中应用Guava BloomFilter

时间:2018-03-27 05:42:20

标签: java duplicates streaming guava bloom-filter

我有一串按键。我想检查密钥是否出现在最新的1000个密钥中。我想使用Guava BloomFilter,它具有插入次数限制以避免过饱和。 所以我可以通过以下方式使用它:

BloomFilter<Integer> filter = BloomFilter.create(
  Funnels.integerFunnel(),
  1000,
  0.01);

我的问题是 1)如果我以上面声明的方式使用BloomFilter,我必须维护一个1000个元素的窗口并为每个新窗口创建一个新的bloomfilter。 但我无法检查窗口转换中的重复。 2)如果我想检查流中具有无限数量密钥的重复项。 BloomFilter仍然是检查重复的好方法吗?

0 个答案:

没有答案