我一直在阅读DataSift如何使用不同的技术来消费twitter firehose，因为我需要遵循相同的概念，想要了解mongo / redis与其在实时数据存储中的使用之间的差异。我的理解是这样的： 流量太高而不能简单地消费并将数据（推文等）放入例如一堆兔子队列中。我担心的是数据丢失问题。我当前的架构涉及连接到开放流并使用数据并将每个帖子或消息推送到rabbitmq中的几个队列中。队列包含每条消息的副本，其中一个是处理队列，另一个是存储队列。然后，我通过对处理队列进行处理来消耗每个队列，这是时间密集的，但我的工作人员保持良好状态并将所有存储队列内容写入文件，并且工作正常。
如果我的音量增加了100倍，我被告知当前的设置将无法处理音量，使用mongo / redis方法会更好。所以不确定如何实现：我会将流消耗到mongo然后从那里进入队列，为什么这会是一个更好的方法。