处理谷歌应用程序引擎python上的大数据

时间:2015-09-04 19:02:11

标签: python google-app-engine google-cloud-datastore

我在谷歌应用引擎上使用python来保存数据。基本上,已记录的测试设备的位置。数据长度可以非常大(大到702104)。该文件是一个json文件,我基本上遍历该对象,将数据保存在数据存储中。

class LocationObject(ndb.Model):
index = ndb.IntegerProperty()
lat = ndb.FloatProperty()
lng = ndb.FloatProperty()

此实施存在严重问题。它会遇到DeadLineError,因为迭代大数据需要很长时间。此外,我正在以这种方式保存数据,因为我想查询位置并能够在服务器中获取与搜索参数匹配的数据。

如果不遇到任何问题,我如何才能最好地处理此类数据。

0 个答案:

没有答案