测试/检查Marklogic REST端点摄取的速度？

Question

嗨Markloggers在那里，

我尝试使用REST端点将文档加载到Marklogic中。

为了加快速度，我实现了一个多进程客户端，它将文档发布到默认的REST端点以获取文档。现在我遇到了一些我需要调查的性能问题。摄取的文件是geospacial kml type xml。

我知道mlcp是在ML中摄取数据的事实标准，但由于各种原因我使用python客户端请求lib与ML通信。

我有一个单线程解决方案，效果很好但速度很慢 摄取42000个文档需要大约7 1/2分钟

如果我在我的笔记本电脑INSIDE eclipse上运行多处理变体，则需要3分钟，没有错误

如果我从命令行运行相同的脚本大约需要1分15秒，但我在客户端遇到以下错误：

Connection aborted. error 99 Cannot assign requested address

这似乎是一个低级套接字错误。 Marklogic的日志中没有...

ML与python脚本在同一台机器上（我的笔记本电脑sony vaio i7 8核8GBram SSD磁盘）

在另一台机器上，（dev server 4cores）脚本运行正常。 单线程10:55多线程（4核心）3:18如此显着的改进。

问题：如何在Marklogic中测试/检查REST端点的摄取速度？

Answer 1

我从客户端和服务器上的操作系统级性能监控开始。查看磁盘，CPU或网络上是否存在明显的瓶颈。如果有，您可能需要减少活动线程的数量以获得最佳性能。

您可能已用尽ephemeral ports。