使用最新版本的Hadoop 2.2,我发现该发行说明提到该版本在Windows上运行Hadoop方面有重大改进。我昨天下载了Hadoop 2.2,我看到很多带有.sh文件的.cmd文件,确保这个版本有脚本和批处理文件,用于在Windows环境下运行Hadoop。但是,在查看Apache Hadoop文档时,我找不到有关如何在Windows上安装和运行此新版本的任何分步说明。除此之外,看起来新版本中嵌入了YARN架构,在线教程中提供的旧配置可能已经过时,不再适用。 Hadoop 2.2是否有在线提供的良好文档?我希望它专门用于在Windows下运行Hadoop。
答案 0 :(得分:6)
如果我们直接采用Apache Hadoop 2.2.0版本的二进制发行版并尝试在Microsoft Windows上运行它,那么我们将遇到ERROR util.Shell:无法在hadoop二进制路径中找到winutils二进制文件。
Apache Hadoop 2.2.0版本的二进制发行版不包含一些Windows本机组件(如winutils.exe,hadoop.dll等)。这些是在Windows上运行Hadoop所必需的(非可选)。
因此,您需要在位于hadoop源代码内的“BUILD.txt”文件之后,从源代码构建hadoop的Windows本机二进制分发。您也可以按照以下帖子进行屏幕截图的分步指南
Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS
答案 1 :(得分:0)
作为一个先决条件,您需要让您的Windows以64位运行。
尝试一下,让我知道它是否适用于您的网站。 hortonworks网站上有一个STEP-to-STEP指南。
Cheers Jan