您好我有一个包含4万条记录的简单集合。它只是导入csv(c.4Mb),因此每个文档都有一致的对象,适用于开放数据门户。
我需要能够提供完整的数据下载以及AQL的查询,分组,聚合等功能。
如果我将batchSize设置为完整数据集,那么返回大约需要50秒,并且由于列名称而不足为奇的是大约12Mb。
例如
{"query":"for x in dataset return x","batchSize":50000}
我已尝试在较大的batchSize之间缓存和平衡,并使用光标构建整个数据集,但我无法将响应时间缩短。
今天我遇到了attributes
和values
函数并创建了这个AQL语句。
{"query":"return union(
for x in dataset limit 1 return attributes(x,true),
for x in dataset return values(x,true))","batchSize":50000}
这意味着我必须解析对象但我使用PapaParse所以这应该没有问题(尚未证明)。
这是获得输出完整csv的选项的最佳/唯一方式吗?仍然有一个表现良好的响应?
我试图避免多次存储数据,例如,一旦原始csv然后是集合中的数据。我想可能有一个数据集太大而无法应对这种方法,但这是我们更大的数据集之一。
由于