使用MapReduce处理UDP数据流

时间:2014-12-01 09:34:25

标签: hadoop mapreduce udp apache-storm

我在使用map reduce系统进行实时UDP流处理时遇到问题。实际上我正在做一个大学项目,我想使用mapreduce来处理这些数据。 UDP流是关于来自多个AIS设备的船舶数据。

据我所知,Apache Storm将是解决方案。但我不知道我可以将mapreduce合并到Storm中。我想结合mapreduce概念,最终我想学习它。

另外,我想对系统架构有一些建议,正常的程序就是这个,

系统收到的UDP流 解码流 应该显示实时分析 存储用于未来的重审目的。

所以有人可以建议最好的方法是什么? Apache Storm能做到这一点吗?

1 个答案:

答案 0 :(得分:1)

我首先回答一个简单的问题:是的,Apache Storm可以做你想做的事。

也就是说,任何其他“大数据”流媒体工具也可以进行此数据处理。这些工具包括Storm,还有Spark和Samza。

如果我自己构建这个,我会将流数据推送到消息队列,可能是Kafka,然后使用Storm将各个消息拉出来并处理它们。然后,您可以根据需要存储结果。这可能是在磁盘上,回到Kafka,或者在你的情况下是有意义的。

最后,mapreduce似乎不适合您的问题。 Mapreduce用于批处理,这不是您所描述的问题。