运行分析大数据的网站/ Web应用程序

时间:2017-04-27 12:35:36

标签: web web-applications data-analysis bigdata

你好我有这个网站服务器在其数据库中有2-3 GB的数据,我希望用户运行查询来获取数据并对其进行分析(例如用户可以将年龄> 15)然后按下表示群集的按钮在该数据中进行聚类,然后用户可以看到d3.js这样的库。

怎么做?我可以使用php / nodejs链接Hadoop或类似的东西吗? 任何建议

3 个答案:

答案 0 :(得分:0)

我认为您的数据大小与用作BigData Stack无关。

也许配置您的RDMS以满足您的请求可以解决您的问题。

在GB的大小中,它不会在Hadoop中给你一个很好的响应...在你的情况下,如果你需要小的延迟,我建议Cassndra或Redis请求。

不要将Hadoop用于GB。

答案 1 :(得分:0)

如果配置正确,您应该使用RDBMS,它将提供更好的结果。 RDBMS很容易集成到Web应用程序中。

Hadoop是一个disocrbuted文件系统,应该用于超过GB的数据,否则它只会让你失望。

答案 2 :(得分:0)

我们需要更多信息。

根据数据存储的不同,我们可以选择不同的数据类型

选项1: 尽管日志传送/流处理可以处理GB的存储量,但是关系数据库可以在设置了复制的集群平台中存储TB级的数据。然后进行分析。这取决于数据的存储方式。 MS SQL Server可以轻松处理Tera字节的数据,并在顶部应用分析引擎。如果我们以非规范化的方式存储数据并且ACID是关键因素,则可以选择此选项。交易意识。

选项2 如果接收到数据并将其存储在文档模型(JSON)中,则一致性和复制是决定因素而不是可用性。 MongoDB是市场上最好的,我们可以在一级,二级设置中进行设置。 mongo shell中的javascript解释器将非常有效地帮助数据处理。

选项3

如果一致性和ACID不是约束条件,并且可用性和数据作为键值存储。最好的选择是卡桑德拉。建立更好的拥有和数TB的数据将很容易,因为它可以跨DC或跨DC的节点进行复制。更好的哈希键定义是在此处进行分片的主要因素