我们正在使用ManiFoldCF documentum连接器从DCTM存储库中爬网数据,并将爬网的数据写入MongoDB。限制值为500时触发了爬网。但是,每分钟连接器的爬网速度非常慢,只能获取170个文档。安装了MCF的服务器配置有足够的内存和8个逻辑核心(CPU)。有人可以在这里帮助我们提高抓取速度吗?
答案 0 :(得分:0)
更好地调整爬网数据库(PostgreSQL)是一个好的开始。
您可以使用一些参考: https://manifoldcf.apache.org/release/release-2.13/en_US/performance-tuning.html