如何练习Hadoop编程?

时间:2012-08-16 20:11:37

标签: hadoop

刚开始浏览Hadoop介绍视频。 如何自己练习?是否有推荐的方法在本地安装练习?

7 个答案:

答案 0 :(得分:6)

我发现下载和安装Hadoop,通过工作示例来玩它,犯了很多错误,并且对于练习来说效果很好。

如果您说“我如何在不使用HDFS的情况下在我的本地计算机上安装它?”,那么“安装在本地”会有excellent guide here.

答案 1 :(得分:6)

如果您想了解Hadoop和Bigdata,请查看bigdatauniversity.com。它是免费的,它们提供了有关如何在虚拟机和/或亚马逊的Web服务中本地安装Hadoop的说明。 BigDataUniversity提供实验室和说明,以帮助指导您的实践。到目前为止,我发现它很有帮助。

答案 2 :(得分:3)

最近Cloudera在线推出了一个新平台,您可以随心所欲地使用Hadoop及其生态系统。在这里 - 你去 - cloudera.com/live

答案 3 :(得分:3)

我已经在Hadoop上培训了2年了。这是我的两分钱。

对于学习部分,我会推荐以下来源(如上面其他人所提到的):

  1. Yahoo Blog
  2. Hadoop Definitive Guide
  3. HortonWorks Practice Tutorials
  4. 对于练习,传统上人们一直在使用Hadoop虚拟机,但这种方法有其缺点:

    1. 虚拟机的尺寸很大,例如HortonWorks' VM为9.9 GB。
    2. 您可能需要将RAM升级到8GB。
    3. 某些BIOS不允许虚拟化。您可能有更改BIOS设置。
    4. 某些计算机(如Office台式机/笔记本电脑)可能不允许安装。
    5. 我的学生和我也面临着这些问题。因此,我们为学生设置了一个集群来练习Hadoop,Spark和相关技术。我们将其命名为CloudxLab.com

答案 4 :(得分:1)

...我喜欢bigdatauniversity.com并且还注意到MapR,Hortonworks和Cloudera都提供了一个可下载的环境,您可以使用它来熟悉Hadoop操作范例。

事实上,如果你正在研究这个问题,着眼于在企业范围内使用Hadoop,那么探索在该级别部署的产品是个好主意。

我现在有机会亲身体验MapR的Hadoop环境,并且可以推荐它作为调查此事的好方法。

--- v

答案 5 :(得分:1)

我建议https://developer.yahoo.com/hadoop/tutorial/进行hadoop自学节奏研究。它是一个非常全面的指南,从初级到高级一步一步。

答案 6 :(得分:1)

您可以安装包含Hadoop的虚拟机,但您可能会遇到一些问题。当我开始学习Hadoop并且遇到几个问题(IP,互联网,不同的配置)后,我首先这样做了。我决定学习Linux安装。

你可以在这里找到一个教程: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/