为什么Hadoop与Linux紧密相关?

时间:2012-09-19 17:26:59

标签: windows hadoop

我是Hadoop的新手。 Hadoop与Linux如此紧密绑定的具体原因是什么?它运行的集群是同质的?

我正在寻找可以告诉我为什么Hadoop与Windows不兼容的真正具体细节,如果有一些库涉及一些特定的脚本?

我的项目是在不使用Cygwin的情况下部署Hadoop。我已经看过Hayes Davis的文章,他解释了如何在没有Cygwin的情况下安装Hadoop,但他说有一些错误。我可能从头开始在Windows上正确配置Hadoop,但是如果任何人可以解释什么,特别是,Hadoop在Windows上运行不正常的原因会非常有用。

3 个答案:

答案 0 :(得分:3)

您是否了解Microsoft and Hortonworks正在协作的Hadoop工作,实质上是为了支持本机Windows支持而对Apache项目进行更改?

该项目仍处于预览阶段,Hadoop on Azure是首次展示的第一部分。这是在Windows Azure云中的Windows Server 2008R2上运行的Hadoop。它也可以在现场安装,用于构建自己的集群。

我建议您更多地了解并注册该计划,因为您正在重新创建他们已经花费多年的时间。

答案 1 :(得分:3)

根据他们的Quick Start page,它尚未经过充分测试。

  
      
  • 支持GNU / Linux作为开发和生产平台。已经在具有2000个节点的GNU / Linux集群上演示了Hadoop。
  •   
  • 支持Win32作为开发平台。分布式操作尚未在Win32上经过良好测试,因此不支持它   生产平台。
  •   

Windows拥有比大多数人意识到的更好的远程管理支持,但是在设置大型计算群的简易性(和价格标签)方面,它仍然难以击败Linux。这只是一个猜测,但也许不太可能需要构建如此庞大的集群的研究人员将大部分预算用于操作系统许可。

答案 2 :(得分:1)

有效的答案是从2012年开始的。 以下是截至2017年Hadoop Wiki的最新消息

  
      
  • Hadoop 2.2版以后版本包括对Windows的本机支持。官方Apache Hadoop版本不包括Windows二进制文件(截至2014年1月)。但是,从源代码构建Windows包非常简单。
  •