什么时候在Hbase中使用MapReduce？

Question

我想从应用程序的角度理解Hbase的MapReduce，需要一些真实的用例来更好地理解编写这些工作的有效用例。

如果有任何文档链接或说明实际用例的示例，请分享。

Answer 1

请查看给出的用例 1. here。 2.一个小参考here - 30.Joins 3.可能是一个端到端示例here

最后，这一切都取决于您对每个概念的理解Map reduce，Hbase并根据您在项目中的需要使用它。无论是否使用map reduce，都可以完成相同的任务。快乐的编码

Answer 2

我可以根据我的用例给出一些例子。如果您已经将数据存储在hbase中，则可以编写一个java程序，它扫描表并执行某些操作，然后将输出写入hbase或其他位置。或者您可以使用mapreduce来做同样的事情。区别在于，mapreduce将在数据所在的位置运行，网络流量仅用于结果数据。我们有每小时的工作来计算kpis和输入数据的总和和平均值是巨大的，但输出数据对于这项任务来说很小。如果我没有使用mapreduce，我需要通过18gb的网络移动一小时的数据。但是mapreduce输出只有1mb，我可以将它写入hbase或文件或其他地方。

mapreduce还为您提供了并行任务执行能力，您可以在java中使用它，但为什么:)

请记住，YARN会根据您的hbase表的拆分计数创建地图任务。因此，如果您需要更多地图任务，请拆分您的表格。

如果您已经将数据存储在hadoop hdfs中，那么幸运的是，从hdfs读取mapreduce比从hbase读取要快得多。如果你愿意的话，你仍然可以将mapreduce输出写入hbase。