Web应用程序中的大数据分析

时间:2015-07-20 15:13:39

标签: google-app-engine web-applications bigdata google-cloud-datastore bigtable

假设我有非常大的时间序列数据。我将这些非常大的数据存储在像Google BigTable这样的存储中。我可以快速查询并从存储中获取数据。所以我可以处理存储问题。到目前为止,这个过程非常有效。

现在我有了一个Web应用程序。我想分析存储在BigTable中的大时间序列并可视化结果。我想对那个超过一百万点的时间序列进行统计评估。所以我有一个存储时间序列的解决方案,我可以从存储中获得正确的时间序列,但是当我将它们从存储中取出时,我不知道如何处理时间序列。

我必须使用哪些服务器端工具来处理大数据?有哪些方法可以做到这一点?后端的并行化和Web前端的聚合可视化?当我不能以同样有效的方式使用大数据时,有效地存储数据是没有用的。

3 个答案:

答案 0 :(得分:3)

除非您想重新发明它,否则请使用google bigquery而不是bigtable。 https://cloud.google.com/bigquery/what-is-bigquery

答案 1 :(得分:2)

作为BigTable / BigQuery的替代方案,您可以尝试ATSD,它已经满足您的需求。它是一个基于HBase的时间序列数据库。它具有内置可视化功能,您可以直接在窗口小部件中聚合任意数量的数据,也可以使用API​​检索聚合数据。如果您要存储传感器数据,这是一个很好的示例用例:https://axibase.com/environmental-monitoring-using-big-data/

答案 2 :(得分:0)

对于时间序列数据的分析和可视化,有一个很好的解决方案,称为“ Metatron发现”。它为您遇到的问题提供了大多数答案。看看吧!