我已经修改了一个基本的网页抓取工具来收集一个网站链接列表，这可能会遇到千元。我遇到的问题是，一旦我尝试运行，脚本会超时它通过上面的浏览器在上一个问题中提到过，我问过，运行到许多进程的脚本也可能出现问题，同时杀死我运行它的服务器。
我如何解决这些问题，或者我应该使用开源搜寻器，如果是这样，我应该使用哪种爬虫，因为我找不到任何具体的内容，因为phpDig网站已关闭：/
答案 0 :(得分：0)
如果您需要能够通过网络界面按需运行它，请考虑将其添加到队列中，以便使用Gearman甚至unix at command在后台运行。
碰巧我已经为linux at作业队列写了一个PHP wrapping class，如果你选择沿着这条路线走，那就是available from my github account。