Question

我正在编写一个简单的爬虫，它应该从网上获取信息。

Merchant为我提供了一个搜索链接，我可以在其中传递我的查询，例如http://www.merchant.com?query=<query_text>被重定向到商家服务器中的实际产品页面。

如果我知道这是通过301重定向，有没有办法在php中获取重定向的URL。

另一个类似的问题是，另一个商家有基于jquery的重定向，基于类似的查询搜索，商家通过windows.document.href="final url"重定向到另一个页面。

有没有办法获得这些信息。任何帮助高度赞赏。

Answer 1

您可以使用PHP cURL 为您的第一个案例实现此目的。

尝试这样的事情。（只是一个开始）

<?php
$query="your search query";
$url = "http://www.merchant.com?query=" . $query;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); // This is important (for redirect)
$output=curl_exec($ch);//This variable contains the info of your search result 
echo $output;

从网站上获取301重定向链接

1 个答案: