在本地模式下配置hadoop

Question

您好我已经在VM上以伪分布式模式成功安装了hadoop。我在eclipse中编写代码，而不是将jar文件导出到hadoop集群中，而不是在那里进行调试。现在只是出于学习目的，我试图在我的Windows机器上以本地配置模式安装hadoop。通过这样做，我将能够进行测试，而无需经历创建jar文件，导出和在hadoop集群上进行测试的所有麻烦。

我的问题是，任何人都可以帮助我理解hadoop如何在Windows上以本地模式（hdfs vs本地文件系统）工作，以及如何在Windows机器上的本地机器中配置hadoop（我可以遵循哪些步骤）。< / p>

我尝试跟随各种博客做同样的事情，但却无法理解他们。所以在这里张贴相同。

如果需要任何其他信息，请告诉我。提前致谢。

Answer 1

不幸的是，你不能在开始时在窗口上使用hadoop - 但是，你可以使用Cygwin来实现同样的目标。

我设法设置了直接从cygwin运行的本地模式和分布式模式，但由于Unix和Windows路径样式之间的各种cygpath转换问题，无法使伪分布式工作得很好。

然而，实际上我仍然使用rsync制作jar并将它们直接发送到集群，因为一旦你的项目达到一定的测试幅度就可以快得多，并且可以通过eclipse进行远程调试windows集群到linux集群。