使用.NET筛选SSL

时间:2009-06-04 15:17:52

标签: .net ssl https screen-scraping

通过SSL屏蔽网站以与.NET一起使用有哪些解决方案?

我的用例是我需要登录合作伙伴网站(https),浏览动态层次结构,然后下载压缩文件报告文件。

如果在.NET中没有很好的可行选项,我当然可以使用其他屏幕抓取工具,无论是框架还是OSS。

4 个答案:

答案 0 :(得分:8)

.NET中屏幕抓取的黄金标准是HTML Agility Pack

至于通过HTTPS检索网页,请尝试以下文章:

(正如其他答案所提到的,你可能实际上是在自动化而不是屏幕抓取之后,在这种情况下你可能会更好地使用WatiN,一个专为自动化Web测试而设计的框架,但足够灵活,可以满足您的需求)

答案 1 :(得分:6)

如果您可以自己找到项目并模拟逻辑,也许可以考虑WATIN来模拟导航或WebClient

答案 2 :(得分:4)

您当然可以使用HttpWebRequest执行此操作,但跟踪用于登录的Cookie可能并非易事。我建议使用watir(ruby)或watin(c#)。两者都会为你处理所有这些。

从WatiN网站,这是一个例子:

public void SearchForWatiNOnGoogle()
{
 using (IE ie = new IE("http://www.google.com"))
 {
  ie.TextField(Find.ByName("q")).TypeText("WatiN");
  ie.Button(Find.ByName("btnG")).Click();

  Assert.IsTrue(ie.ContainsText("WatiN"));
 }
}

答案 3 :(得分:2)

我听说有人在他们的程序中托管浏览器,并使用jQuery进行抓取。对我来说似乎很棒,因为jQuery非常适合搜索DOM。