输出文件中有很多重复的推文

时间:2015-08-13 17:03:27

标签: apache-kafka apache-storm

我正在通过kafka发送Twitter推文并在风暴拓扑中进行计算并将其保存在hdfs中。我在文件中得到了很多重复项,任何人都可以告诉我如何在没有重复的情况下做到这一点

0 个答案:

没有答案