带有数据流的MLCP

Question

不确定这个有效的问题...

设备-我要编写一个从外部REST端点捕获大量数据的应用程序，我想使用MLCP将来自外部REST端点的数据流存储到MarkLogic。

可以使用MLCP吗？

请提供您的解决方案。

Answer 1

DMSDK（数据移动SDK）可能有助于满足您的要求：

http://docs.marklogic.com/guide/java/data-movement

Answer 2

如果用“流”表示时空不受限制，而用“巨大”表示多GB +，则没有MLCP不是正确的选择，或者是不够的。 MLCP是一个命令行“批处理”程序，您需要先将所有数据存储在本地，然后再启动它，从这种意义上说，它不是“流式”的。

无论如何，在发送给MarkLogic之前，您都需要先分割数据-理想情况下，块（文档）<100MB（不是一个神奇的数字，只是一个很好的上限）。因此，您的流代码需要读取数据，对其进行缓冲，将其拆分为“块”，然后发送给ML。一旦“成块”，那么任何ML的API都可以使用，包括MLCP。在不同的API之间存在性能和可用性之间的权衡取舍-我将再作讨论。