我可以使用hadoop来运行多个Web服务器吗?

时间:2014-04-01 13:00:25

标签: hadoop

我不确定hadoop可以做什么,不能做什么,以及事情是多么容易。

我理解hadoop擅长做mapreduce工作和提供hdfs,他们的分布式文件系统。

还有什么比较好/易于使用?

我的问题:我想提供数据,mapreduce的结果。由于我有很多流量,我需要3台前端服务器。 Hadoop可以帮助我在我的n个运行节点中的3个上部署服务器吗?

基本上我没有在n台机器上运行mapreduce,而是想在3台机器上运行自定义可执行文件(我的服务器)。当1台机器发生故障时,hadoop负责在另一台机器上启动作业。

我应该在hadoop集群上运行吗?或者hadoop集群是否应仅用于mapreduce,我应该有一个单独的云来提供来自hadoop集群的数据?

感谢您分享您的经验。

P.S我现在只考虑hadoop作为解决方案,我没有依赖它

1 个答案:

答案 0 :(得分:0)

你的问题实际上并不清楚,但这是我的镜头。

您想显示Hadoop作业的结果吗?通常,Hadoop作业会将其结果写入HDFS。你可以做的是创建自己的OutputFormat类。例如,您可以定义XMLOutputFormat。

但好处是你可以创建自己的Writable。看看Database Access with Apache Hadoop。在本教程中,您可以将Hadoop作业的输出保存到数据库系统。

然后您的前端可以查询数据库并显示结果。