Hadoop支持php，ruby

Question

我很想知道使用PHP或Ruby可以完成什么级别的hadoop编程。我找到了关于hadoop流式api的文章，可以从PHP，Ruby中攻击。

我的问题

1. 你能用PHP写一个map-reduce工作吗，Ruby可以和其他hadoop java map-reduce工作一起工作吗？

2. 在API级别编程方面，hadoop中非java语言缺少什么？即现在只能在java中使用其他语言的东西？

由于

Answer 1

简而言之 - hadoop除了映射器和缩减器之外还有许多其他插件：组合器，输入/输出格式比较器。这些plagins只能用java编写。
所以这意味着通过流媒体使用hadoop可以适应一些简单的情况，但会严重降低你的灵活性 流也有点慢，因为使用不同的机制将记录传递给映射器和缩减器。

Answer 2

1. 如果您指的是使用流媒体作业链接java M / R作业（例如本机API） - 我在类似的帖子上看到了this seemingly relevant answer。
2. 您在Streaming脚本中执行的操作基本上仅限于您选择的语言的功能。 Ruby和PHP都相当强大，所以我不确定你在这些中缺少什么。

就个人而言，我也来自Ruby / Python背景，最初尝试使用流媒体来完成工作。最终我决定给Java API一个机会，结果证明它并不太糟糕：）