Hadoop:如何开始我的第一个项目

时间:2017-02-02 12:33:39

标签: mapreduce hadoop2

我开始使用Hadoop,但我不知道它在哪里以及如何使用。我正在研究OS X,我按照一些教程来安装Hadoop,它已经完成并且它已经完成但现在我不知道该怎么做。

是否有要安装的IDE(可能是eclipse)?我找到了一些代码,但没有任何作用,我不知道我必须在项目中添加什么......

您能给我一些信息或指导我完成一个完整的教程吗?

2 个答案:

答案 0 :(得分:2)

我建议您在虚拟机上安装Cloudera伪分布式示例,即最新的LTS Ubuntu。这样,你就不会搞砸你的笔记本电脑,这将是一个更接近你在生产中所做的事情的环境。你检查过vagrantup.com吗?

当你安装它时,你可以选择直接在Java上工作,或者选择像MrJob(python)这样的框架来执行一些自定义程序。

最佳, 阿尔瓦罗。

答案 1 :(得分:1)

如果您想学习Hadoop框架,那么我建议您首先在OSX系统上安装Cloudera QuickStart虚拟机,前提是您的系统具备所有先决条件:

http://www.cloudera.com/downloads/quickstart_vms/5-8.html

Cloudera QuickStart虚拟机包括尝试Hadoop,MapReduce,Hive,Pig,Impala等以及Eclipse IDE所需的一切。

如果您对Hadoop开发人员的职业感兴趣,那么上述内容将会非常完美,但如果您对Hadoop系统管理员感兴趣,请遵循@Alvaro建议。

然后有关于Udacity的Hadoop和MapReduce课程的介绍对初学者来说是一个好的开始: https://www.udacity.com/course/intro-to-hadoop-and-mapreduce--ud617

Hadoop:权威指南Tom White可能是一本很好的综合性书籍:http://shop.oreilly.com/product/0636920033448.do