Chukwa& amp;隶?

时间:2011-12-13 14:01:13

标签: logging hadoop mapreduce hdfs

我正在使用Hadoop,但是对于日志记录我需要一些东西。 但我不知道在 Scribe Chukwa 之间登录哪个更好的系统。 你能告诉我吗? 如果有任何易于与Hadoop混合的替代方案,请告诉我。

2 个答案:

答案 0 :(得分:4)

我有另一种选择:

Apache Flume由Cloudera构建,主要用于将数据输入/输出HDFS。

https://cwiki.apache.org/confluence/display/FLUME/Index

每个系统都有优点和缺点,并且所有系统都有大规模的可靠性问题,但我可以说Flume是用java构建的,所以可以使用主要的HDFS库。

我们在很多节点上使用水槽来从我们的机器获取数据到HDFS和S3。

答案 1 :(得分:0)