我在谷歌应用引擎上使用python来保存数据。基本上,已记录的测试设备的位置。数据长度可以非常大(大到702104)。该文件是一个json文件,我基本上遍历该对象,将数据保存在数据存储中。
class LocationObject(ndb.Model):
index = ndb.IntegerProperty()
lat = ndb.FloatProperty()
lng = ndb.FloatProperty()
此实施存在严重问题。它会遇到DeadLineError,因为迭代大数据需要很长时间。此外,我正在以这种方式保存数据,因为我想查询位置并能够在服务器中获取与搜索参数匹配的数据。
如果不遇到任何问题,我如何才能最好地处理此类数据。