对于使用Hadoop生态系统的以下用例，哪种方法最好？

Question

1. 我从1000多个传感器单元通过restservice获取数据到我的网络服务器，这个传感器数据我把它写成单个文件。
2. 通过Flume我将这些传感器数据存储到HDFS。
3. 通过PIG，Hive和MR我正在分析数据并存储回HDFS 4.在分析之后我通过Sqoop写回RDBMS。 请指导我，我是否遵循正确的方法？

Answer 1

我没有发现这条管道有什么问题，如果它满足了你的需求......你就是金色的。

你可能想读一下Kafka;也许是Google＆＃34; Kafka vs. Flume＆＃34;。根据您的限制，您可能会发现Kafka引人注目。