存储数据 - 将大列表存储到实体属性中

Question

我在我的应用程序中运行一个爬虫后端，每天都会挖掘一些网站上的数据。

对于我抓取的每个网站，我创建一个实体，存储一个大的String ID列表。

• 每个实体的近似值 2.000 。
• 每天 1000 个实体。

我现在这样做的方式是重复的ndb.StringProperty（）没有索引。

运行3天后，它消耗了70％的数据存储空间。

接下来要做什么？将它们存储为压缩的json？

将它们存储在blobstore中，每次都读取blob等？

还有别的吗？替代？

Answer 1

压缩和JSON为我做了伎俩。关闭这个。