来自SIMPLEHTMLDOM优化的Multi Curl vs file_get_html?缓慢加载页面

时间:2011-03-18 06:21:34

标签: optimization dom curl web-scraping

我一直在学习如何使用curl multi和simplehtmldom来抓取页面。我最初使用正则表达式来获取某些项目,直到我发现simplehtmldom在我的编码中占用了很多重量。唷!无论如何,我的页面加载速度很慢,我将从多个页面进行抓取。我正在从3现在刮,并且大约需要。加载5秒,也许再加一点。我想知道优化我的网页的最佳方法是什么?我使用curl从simplehtmldom获取几页以及file_get_html。我应该一直坚持使用simplehtmldom吗?

提前感谢您的回复!

1 个答案:

答案 0 :(得分:2)

andrewliu找到的解决方案: “我发现我可以使用curl mutli,现在使用file_get_html。感谢您的回复!但对于那些想要知道的人,我将每个数组元素传入str_get_html(),”