屏幕抓取时我应该使用Keep-Alive吗？

Question

建议在屏幕抓取时使用持久连接吗？有哪些可能的优点/缺点？

我正在使用PHP / cURL来抓。

Answer 1

它不会产生太大的影响。您需要做出的真正性能决策是并发抓取。因为，持久与否，单个连接一次只能处理1个请求/响应。

这让我想到了下一点：

  

我正在使用PHP / cURL来抓。

PHP可能是这项工作的错误工具。它在并发方面不是很好。或者，至少，默认构建不是。