hadoop如何帮助用户数据跟踪?

时间:2014-04-11 22:26:01

标签: logging hadoop mapreduce

我想知道hadoop如何帮助用户数据跟踪。例如,我有一个电子商务应用程序,我想记录客户执行的每个活动,例如查看项目,添加到购物车或购买项目。是否有关于使用hadoop记录事件的示例或最佳实践。我之所以要使用hadoop,是因为它具有高可用性和可扩展性,而且记录的数据也会从GB扩展到TB。还是我错了?因为日志记录应独立于hadoop,以后可以使用hadoop对记录数据进行分析吗?

只是关于MapReduce的Hadoop?如果我可以使用hadoop记录或跟踪活动,那么什么是Map以及Reduce功能是什么?

有人可以解释一下吗?

2 个答案:

答案 0 :(得分:1)

Hadoop就是处理大数据并使用mapreduce程序生成重要统计数据。在您的情况下,您可以使用mapreduce程序分析您的日志,以查看您的哪些在线产品被查看最类似的东西

  

只是关于MapReduce的Hadoop?

不是关于更大的数据处理。

if I can use hadoop for logging or tracking of activities,

您无法使用hadoop进行服务器日志记录,这是您的应用服务器的任务。

  那么什么是Map以及Reduce函数是什么?

Map and Reduce是Hadoop处理数据所遵循的模式

希望肝脏。

答案 1 :(得分:0)

我找到了一个有趣的材料来研究。我已经完成了实验。它运作得很好!

http://www.lopakalogic.com/articles/hadoop-articles/log-files-flume-hive/

另外

https://blogs.oracle.com/datawarehousing/entry/flume_and_hive_for_log