如何制作网站,使用分布式文件系统 - hadoop进行数据管理

时间:2017-08-29 09:32:35

标签: hadoop web bigdata distributed-system

我对大数据技术很天真,并且好奇地将它与传统的应用程序开发联系起来。

开发任何Web应用程序的传统方法是使用托管服务器(或应用程序服务器)和数据库来管理数据。 但是,让我们说,我有一个巨大的数据集,由网站生成(即每秒GB),然后该网站将属于管理大数据的类别。

假设,我有一台20台计算机的集群,拥有200GB的硬盘和核心i3处理器。所以现在我将拥有足够的网站处理和存储能力。 (当然,如果我需要更多资源,hadoop也是可扩展的)。 如何设置应用服务器,在这个集群中托管网站? 我的应用程序服务器是否需要负载平衡器,因为对应用程序服务器的http请求速度更快? 任何人都可以指导! 提前谢谢。

编辑:

我只想概述Web应用程序开发如何与大数据相关联。让我们想象一下Facebook。它基本上是一个Web应用程序。如何完成应用程序服务器和数据库管理对于Facebook来说是我的好奇心。 事实上像Facebook这样的大公司将不得不使用分布式系统。例如。 hadoop集群。我的问题与同一个概念有关。但Facebook拥有庞大的集群,并且了解其实施方式很难,在我的问题中,我提到了20台计算机的集群。如果有人有为Web应用程序托管设置hadoop集群的经验,那么我会请求分享知识

1 个答案:

答案 0 :(得分:0)

我对Hadoop了解不多,但如果我要创建一个网站,我会使用Visual Studio。

https://msdn.microsoft.com/en-us/library/k4cbh4dh.aspx?f=255&MSPPError=-2147217396

https://www.youtube.com/watch?v=GIRmPB0xshw

Visual Studio Express免费且易于使用。