PHP爬行方法

时间:2011-05-12 11:32:29

标签: php curl

任何人都可以告诉我curl是否无法在PHP中抓取然后将使用哪种方法进行抓取?

2 个答案:

答案 0 :(得分:0)

如果您指的是创建一个蜘蛛来抓取整个远程站点,就像wget这样的实用程序,我不相信cURL具有这种能力。 cURL将用于发出请求并下载每个页面,但您必须在PHP脚本中创建逻辑以解析页面内容,提取链接以及创建要爬网的URL列表。 cURL不会为你做那部分。

答案 1 :(得分:0)

CURL可以:

  1. 关注重定向(设置为选项)
  2. 商店内容( - > curl_exec())
  3. 这是您需要抓取的全部内容。 使用常用方法,从中获取示例 http://ua2.php.net/manual/en/function.curl-exec.php