应该何时使用MapReduce而不是Pig / Hive?

时间:2014-03-23 19:02:16

标签: hadoop mapreduce hive

我没有遇到问题,因为蜂巢和猪使程序员的工作变得更容易。 但是有没有限制,人们不能使用它们并且必须依赖map reduce?

在接受采访时被问到这个问题时,应该采取什么样的反应呢?

2 个答案:

答案 0 :(得分:2)

正如Chirag用MR指出的那样,你可以得到更多的低级控制,从而更有可能进行优化。我还想补充一下:

  1. Pig和Hive更多用于脚本,因此更易于调试和更难调试。在MR中设置适当的记录和监控可以提供更强大的程序。

  2. 您不必坚持使用Java MR来做MR,Scalding和Cascading等框架可以大量精简,同时仍然可以灵活地降低到较低级别进行优化。事实上,Scalding基本上是最简洁的框架,比Pig和Hive更简洁 - 主要是因为它在Scala中。

答案 1 :(得分:0)

使用MapReduce我们有更多的控制权,我们可以做些什么来提高性能。

此外,应该考虑团队的技能(如果他们只在Java中表现好的话)

不确定是否可以在蜂巢或猪中描述所有内容(如非结构化数据)

下面的链接应该很有用。

http://blog.mortardata.com/post/60274287605/pig-vs-mapreduce