为Hadoop实践创建或获取环境

时间:2014-08-15 05:10:58

标签: hadoop bigdata cloudera hortonworks-data-platform

我开始阅读有关hadoop的内容。我也想学习实践。由于hadoop是分布式环境并且在linux上运行,我无法在运行windows的本地机器上练习它。互联网上是否有可用的云或虚拟机,我可以自己设置整个环境并开始学习?我也可以预先配置hadoop集群,但我更愿意自己配置。

3 个答案:

答案 0 :(得分:3)

Cloudera (cloudera.com)有一些预先配置的单节点环境。它只有3GB,但您可以找到所需的每个BigData组件。

http://www.cloudera.com/downloads/quickstart_vms.html

Oracle 还有一个虚拟机,可免费用于开发和测试:Oracle BigData Lite

http://www.oracle.com/technetwork/database/bigdata-appliance/oracle-bigdatalite-2104726.html

Hortonworks 还有一个预配置的沙箱。

我更喜欢Cloudera环境。如果您希望测试Sqoop组件,Oracle很好。

答案 1 :(得分:0)

我也想学习一些关于Hadoop的知识,所以我买了一个 Raspberry Pi ,在these instructions之后安装了Raspbian wheezy和Hadoop。

很好地解释了如何设置单节点群集。 Raspberry Pi上的Hadoop速度不是很快,但在我看来,它足够快,可以学习Hadoop的基础知识。

如果您想在本地计算机上设置单节点群集,我更倾向于使用已经提及的user3341955分发。我参加了 Hortonworks ,因为Virtualbox on Mac OS X有一个非常简单的设置指南。

VMware Player on Windows的设置指南:

享受Hadoop的乐趣:)

答案 2 :(得分:0)

由于您正在寻找基于云的环境,我建议使用Cloudera Live demo,这实际上是Hue demo。它基本上是一个真实的Hue实例(非管理员用户可以使用和看到的UI)在一个向公众开放的真实集群面前。您可以浏览文件系统,发出查询等。

如果你想要探索更多肤浅的细节,是的,你应该运行自己的玩具群。如果您喜欢Cloudera发行版,请注意Cloudera Manager是免费的,也是安装程序,它可以为您打开云中的集群,就像在Amazon EC2上一样。