网页抓取用户身份验证的网站

Question

是否可以使用c＃？

抓取用户身份验证的网站

Answer 1

是的，可以假设您拥有凭据。根据站点使用的身份验证机制，存在不同的方法。 WebClient可用于将HTTP请求发送到远程站点。

Answer 2

要抓取经过用户身份验证的网站，您的抓取工具应该能够处理Cookie和POST请求。

问题是：您希望您的抓取工具注册，通过电子邮件验证自己，然后登录以抓取所有内容吗？