使用弹出窗口进行Web抓取(Visual Basic)

时间:2017-03-28 12:48:40

标签: vb.net web-scraping popup

我正在尝试抓一个页面,但是当我登录页面时,会在我需要的页面之前显示一个弹出窗口(欢迎来到等等等等......请不要点击刷新因为它会减慢进程... etc.etc ...)。

当然,HttpWebRequest会删除这些数据而不是后面的页面。

弹出自我取消所以如果我可以让HttpWebRequest等待一两秒然后刮,它会起作用 - 或者 - 如果我可以让它做两次擦除(我只是丢弃第一个)然后同样的会议也会起作用。

以下是代码:

Dim CookieJar As New CookieContainer
Dim Request As HttpWebRequest = WebRequest.CreateHttp(TextBox1.Text)
Request.CookieContainer = New CookieContainer()
Request.CookieContainer.Add(New Uri(TextBox1.Text),
          New Cookie("id", "1234"))
Request.PreAuthenticate = True
Request.Credentials = CredentialCache.DefaultCredentials
Request.UserAgent = "User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64)"
Request.AllowAutoRedirect = True
Request.MaximumAutomaticRedirections = 4
Request.MaximumResponseHeadersLength = 4

Dim Response As WebResponse = DirectCast(Request.GetResponse(), HttpWebResponse)

Dim WebResult As String = New StreamReader(Response.GetResponseStream()).ReadToEnd()
TextBox2.Text = WebResult

提前感谢任何建议。

0 个答案:

没有答案