Question

我尝试了一些获取以下网站http://www.poppe-bedrijfswagens.nl的网页源代码的方法。我认为这个网站有一个自动重定向设置。

我尝试了以下方法：

WebClient client = new WebClient();
string sourceCode = "";
sourceCode = client.DownloadString(address);

和

HttpWebRequest myWebRequest = (HttpWebRequest)HttpWebRequest.Create(address);
myWebRequest.AllowAutoRedirect = true;
myWebRequest.Method = "GET";

// make request for web page
HttpWebResponse myWebResponse = (HttpWebResponse)myWebRequest.GetResponse();
StreamReader myWebSource = new StreamReader(myWebResponse.GetResponseStream());
string myPageSource = myWebSource.ReadToEnd();
myWebResponse.Close();

我总是得到第一页的源代码，但我需要获取网站重定向到的页面的源代码。

http://www.poppe-bedrijfswagens.nl的重定向是：

Type of redirect: “meta refresh” redirect after 0 second
Redirected to: http://www.poppe-bedrijfswagens.nl/daf-html/dealer_homepage.html

提前致谢

Answer 1

当使用HTTP状态代码302完成重定向时，AllowAutoRedirect属性是相关的。元刷新在技术上不是重定向，因为您正在加载第一页。

您可以下载第一页，然后在DOM中搜索您感兴趣的元素<meta http-equiv="refresh" content="0;url=HTTP://WWW.NEXT-URL.COM">，然后下载您感兴趣的页面。

重定向后获取页面源代码

1 个答案: