编写URL的最快方法

时间:2011-01-22 06:52:47

标签: c# webbrowser-control web-crawler

我需要登录某个网站,然后点击某个网址大约一千次(当然有不同的参数)。

URL就是这样的:

http://www.foo.com/bar.asp?id=x    ' where x is the ID

当然,如果我只是在没有记录的情况下点击URL,它就会失败。 我对这类工作不太熟悉,但我想无论我选择何种方法,它都必须支持cookie。

我在想我可以使用浏览器控件创建一个winform应用程序并以某种方式驱动它,但这似乎是一个巨大的矫枉过正。

有更好的方法吗?

3 个答案:

答案 0 :(得分:2)

如果您决定在代码本身中执行此操作,那么我认为没有任何事情阻止您这样做。 HttpRequest和HttpResponse类几乎可以满足您的所有需求。

<小时/> 此外,如果您担心cookie,那么您始终可以将收到的cookie存储在数据库或文件中,并在随后的每个请求中发送它们。
如果您想知道Http Request like a GET request then look here的结构。
此外,您可以通过指定正确的请求标题使您的请求看起来像来自浏览器的请求...(但它不是每次都有效)

所有这一切甚至可以在控制台应用中完成

答案 1 :(得分:1)

如果您对服务器在负载下的表现感兴趣,可能需要查看WCAT

答案 2 :(得分:0)

使用Python或PHP,你可以使用libcURL库,我相信它们都有这些语言的绑定。如果没有,只需使用urllib2模块(对于Python)。