从数据库中解析最快的数据

时间:2016-08-24 11:19:08

标签: database rows nosql

我有大约10,000个不同的人,每天产生大约25.000个数据(位置和其他数据类型)。 我需要将所有这些数据保留一周...所以这大约是10.000 * 3.000 * 7 = 210万的数据。

然后我需要管理那些数据,聚类,过滤等......

问题是:存储它的最佳方法是什么?我猜nosql喜欢mongo。 解析它的最好(最快)语言是什么?节点会这样做吗? PHP?

输出将转到Leaflet地图。

我猜一个(付费)解决方案是Carto,但我想在第一时间考虑自己做。

1 个答案:

答案 0 :(得分:3)

使用Cassandra存储并Spark处理......一个好的起点是here,其中包含大量免费信息