如何抓取浏览器用户代理和cookie并使用cURL发送

Question

我想抓取一个页面。但问题是此页面是登录身份验证。有没有办法使用浏览器信息。比如我使用我的用户名和密码登录，然后创建一个脚本以便从我的浏览器中使用这些信息。

Answer 1

您可能想要使用CURLOPT_COOKIEFILE和CURLOPT_COOKIEJAR。发布您的凭据以登录该站点，您应该能够抓取该站点。