MarkLogic 8 - 将大型结果集流式传输到文件 - JavaScript - Node.js客户端API

Question

假设我有一个将返回非常大的响应的查询。可能有数千条记录和可能的千兆字节数据。

通常在用户界面中，我们只显示此数据的单个页面。现在我需要一个选项来获取整个结果集并将其流式传输到文件中。然后用户可以随意下载。

那么如何使用查询构建器从查询中选择所有结果，然后将其流式传输到块中的文件而不会耗尽内存？

Answer 1

如果需要文档描述符，可以打开对象流，如下例所示：

https://github.com/marklogic/node-client-api/blob/develop/examples/query-builder.js#L38

如果您只需要文档的内容，则可以使用分块流，如以下示例所示（可以使用相同的方法进行查询）：

https://github.com/marklogic/node-client-api/blob/develop/examples/read-stream.js#L27

一般方法如下：

• 以写入流方式打开目标文件

https://nodejs.org/api/fs.html#fs_fs_createwritestream_path_options

• 查询文档的第一页，将文档的读取流传输到文件的写入流，注意将end选项设置为false：

https://nodejs.org/api/stream.html#stream_readable_pipe_destination_options

• 循环读取文档，按页面长度递增起始页面直到读完

• 在写入流上调用end（）以关闭文件

https://nodejs.org/api/stream.html#stream_writable_end_chunk_encoding_callback

希望有帮助