如何使用基于对话框的身份验证来筛选网站?

时间:2015-12-18 12:49:33

标签: c# sharepoint jsoup screen-scraping

我想使用Jsoup来屏幕抓取网站的内容。但我必须首先登录该网站。在浏览主页面时,我会看到一个用户名和密码对话框。由于它不是一个表单,我在Jsoup中获得了“未授权”页面作为响应。我试图使用firebug查找url,但我想在加载其他页面组件之前会出现对话框。因此,我不知道我需要为用户名和密码字段传递什么参数,也不知道我需要发布的服务。

这是一个基于C#的网站。我在几个Sharepoint站点中看到了这种身份验证机制。 我应该如何继续使用这种登录机制?

1 个答案:

答案 0 :(得分:0)

听起来页面正在使用基本身份验证。这是在将任何HTML发送到客户端之前发生的,这就是为什么你不在firebug中看到它。

您需要在http-header中发送用户名和密码,这里有一个链接,告诉您如何执行此操作: Jsoup connection with basic access authentication