使用Hbase运行Hadoop的平台

Question

我们刚刚开始使用Hadoop和Hbase的项目，并对使用哪个平台感到困惑。看来Hadoop实际上是基于unix的系统，但似乎它也可以在cygwin的帮助下在windows中运行。

如果选择Windows，我们是否必须面对任何特定问题，否则它将像任何基于Unix的系统一样运行良好。我们的项目基于整理网络爬虫创建的数据，并使用map / reduce技术创建简单的搜索界面。

如果有经验的人可以解决使用基于Ubuntu的Windows / Unix的差异。

ps：我们在Windows中工作更舒服

Answer 1

截至目前，Hadoop不建议在Windows机器上进行生产。 HortonWorks和Microsoft正致力于将Hadoop迁移到Windows Server和Azure。目前它位于developer preview，它可能需要一段时间才能稳定开放供公众使用。出于开发目的，Windows上的Hadoop应该没问题，我不确定，但是一些Hadoop功能可能无法正常工作。以下是用于在Windows上设置Hadoop的tutorial。

  

ps：我们在Windows中工作更舒服

正如评论中所提到的，Linux上有几个用于Hadoop的VM可以安装在VM Player或VirtualBox虚拟机管理程序上。这是在VirtualBox上开始使用Cloudera CDH的tutorial。 Cloudera CDH VM安装，配置并完善了集成和测试的几个Apache框架（Hadoop，Pig，Hive，Sqoop，HBase等）。另一个选择是使用Amazon EMR轻松上手。

顺便说一下，我还建议您熟悉Linux环境并习惯它。 Linux比其他操作系统更有趣。有很多关于如何入门的教程/文章，包括this。