Manifoldcf documentum爬行缓慢

时间:2019-01-16 07:56:50

标签: java elasticsearch solr open-source manifoldcf

我们正在使用ManiFoldCF documentum连接器从DCTM存储库中爬网数据,并将爬网的数据写入MongoDB。限制值为500时触发了爬网。但是,每分钟连接器的爬网速度非常慢,只能获取170个文档。安装了MCF的服务器配置有足够的内存和8个逻辑核心(CPU)。有人可以在这里帮助我们提高抓取速度吗?

1 个答案:

答案 0 :(得分:0)

更好地调整爬网数据库(PostgreSQL)是一个好的开始。

您可以使用一些参考: https://manifoldcf.apache.org/release/release-2.13/en_US/performance-tuning.html