我不确定hadoop可以做什么,不能做什么,以及事情是多么容易。
我理解hadoop擅长做mapreduce工作和提供hdfs,他们的分布式文件系统。
还有什么比较好/易于使用?
我的问题:我想提供数据,mapreduce的结果。由于我有很多流量,我需要3台前端服务器。 Hadoop可以帮助我在我的n个运行节点中的3个上部署服务器吗?
基本上我没有在n台机器上运行mapreduce,而是想在3台机器上运行自定义可执行文件(我的服务器)。当1台机器发生故障时,hadoop负责在另一台机器上启动作业。
我应该在hadoop集群上运行吗?或者hadoop集群是否应仅用于mapreduce,我应该有一个单独的云来提供来自hadoop集群的数据?
感谢您分享您的经验。
P.S我现在只考虑hadoop作为解决方案,我没有依赖它
答案 0 :(得分:0)
你的问题实际上并不清楚,但这是我的镜头。
您想显示Hadoop作业的结果吗?通常,Hadoop作业会将其结果写入HDFS。你可以做的是创建自己的OutputFormat类。例如,您可以定义XMLOutputFormat。
但好处是你可以创建自己的Writable。看看Database Access with Apache Hadoop。在本教程中,您可以将Hadoop作业的输出保存到数据库系统。
然后您的前端可以查询数据库并显示结果。