Arangodb - 慢速游标

时间:2018-06-13 15:35:15

标签: arangodb aql

您好我有一个包含4万条记录的简单集合。它只是导入csv(c.4Mb),因此每个文档都有一致的对象,适用于开放数据门户。

我需要能够提供完整的数据下载以及AQL的查询,分组,聚合等功能。

如果我将batchSize设置为完整数据集,那么返回大约需要50秒,并且由于列名称而不足为奇的是大约12Mb。 例如 {"query":"for x in dataset return x","batchSize":50000}

我已尝试在较大的batchSize之间缓存和平衡,并使用光标构建整个数据集,但我无法将响应时间缩短。

今天我遇到了attributesvalues函数并创建了这个AQL语句。

{"query":"return union( for x in dataset limit 1 return attributes(x,true), for x in dataset return values(x,true))","batchSize":50000}

这意味着我必须解析对象但我使用PapaParse所以这应该没有问题(尚未证明)。

这是获得输出完整csv的选项的最佳/唯一方式吗?仍然有一个表现良好的响应?

我试图避免多次存储数据,例如,一旦原始csv然后是集合中的数据。我想可能有一个数据集太大而无法应对这种方法,但这是我们更大的数据集之一。

由于

0 个答案:

没有答案