无法使用curl检索外部网页的完整网址

Question

我正在使用curl和regex从页面中抓取特定的URL，以便我可以解析这些子页面。但是，在遵循链接后，我从母版页检索的URL会发生变化。

E.G。我从母版页中检索以下网址：

https://www.crowdcube.com/investment/labrador-ltd-22191   
https://www.crowdcube.com/investment/wegow-21995

当我打开这些链接时，URL会在浏览器中更改为：

https://www.crowdcube.com/companies/labrador-ltd/pitches/qayzEq   
https://www.crowdcube.com/companies/wegow/pitches/qY9EXq

这导致我无法使用我的curl脚本使用原始网址。

Answer 1

将curl与CURLOPT_FOLLOWLOCATION选项一起使用，因此它会自动跟随任何重定向。