在Hadoop中映射应用程序

Question

我有这个涉及客户端和服务器的项目。我在java中开发了应用程序的两个部分，我想在hadoop集群中测试它，因为服务器端是云的模拟，所以通过使用hadoop我想让我的应用程序真正意义上的云环境。我从创建一个多节点Hadoop集群开始，但我不知道下一步应该是什么。 我很感激任何启发。

Answer 1

实现此目的的正确方法是使用restful接口发送命令。

例如，在作为JobTracker的计算机上，您可以托管tomcat rest服务器。 （确保hadoop dameons在后台运行）。您可以使用基于Spring / Hibernate的servlet来处理对服务器的请求。最后，在servlet中，你可以包含h​​adoop-jar并通过hadoop API调用hadoop，或者你可以通过控制台调用hadoop（./hadoop runjar blah）。

为了将文件上传到服务器，您可以使用sftp接口，也可以直接将文件上传到hdfs。

如果您愿意，我可以与您分享一些代码，因为我已经完成了类似的项目。

另外，您可以查看Apache Oozie。他们为hadoop提供了一个安静的工作流程api。