有必要学习java for hadoop吗？

Question

我想从头开始学习大数据技术。我想知道是否有必要学习使用hadoop进行操作的java，因为我已经精通python了？

Answer 1

不，您不一定需要Java知识，因为您可以在pig或hive中完美地编写map-reduce作业（类似于SQL）。但是，与所有抽象层一样，在某些时候你可能需要知道“幕后”发生了什么，并且能够查看，理解和调试底层java是一个很大的优势。

目前正在努力为hadoop提供更完整的SQL界面，其中包括Impala（Cloudera），Presto（Facebook），Phoenix和Hive（已经提及）等工具。

Answer 2

根本不需要，虽然这只是我的观点。如果你蟒蛇好，你应该没事。

查看writing a hadoop map reduce in python。有很多方法可以用hadoop实现解决方案。仅仅因为Java中的大量内容并不意味着java是解决使用的唯一工具。如果你使用java编写的遗产然后知道基础知识可能会有所帮助，但说实话，我认为你可以在遇到它们时引用它们。没有必要花一周的时间来学习Java 7的复杂性以及Java 8中的新功能以满足您当前的需求。

Answer 3

查看MRJob，这是一个基于python的包装，用于运行，记录和监控的hadoop作业。

虽然在某些情况下纯Java解决方案might be faster，但您几乎不需要调试java代码。