Question

所以我试图抓住一个网站的问题是，他们都是通过整个搜索过程发布的请求。

所以这里是我试图发送回复的网站的进展... 1）https://www20.state.nj.us/LPS_spoff/SetSession - 原因看起来该网站希望您先接受条款，所以我发送一个我接受的帖子回复。如果我不这样做，以下其他网站将重定向。

using (var wb = new WebClient())
{
    var data1 = new NameValueCollection();
    data1["submit"] = "I accept";
    var response1 = wb.UploadValues("https://www20.state.nj.us/LPS_spoff/SetSession", "POST", data1);

    // more code here to be show later
}

以上工作并进入下一页。所以现在我可以打开了，

2）https://www20.state.nj.us/LPS_spoff/geographicsearch.jsp - 这个链接没有被重定向，真的不需要这个链接不确定如果我需要发送另一个帖子但是...我真正想要的是

3）https://www20.state.nj.us/LPS_spoff/findDriver - 此结果页面来自任何选择......

以下是为页面手动提交的表单...

<form name="gsm" method="post" action="/LPS_spoff/findDriver"></form>
    <input type="hidden" name="screen" value="1">
    <input type="hidden" name="county" value=" 01 ">
    <input type="hidden" name="countyname" value=" ATLANTIC ">
    <input type="hidden" name="pmonth" value="  ">
    <input type="hidden" name="pday" value="  ">
    <input type="hidden" name="pyr" value="  ">

    <tbody><tr><td align="center" colspan="4"> You chose <b> ATLANTIC </b> County.
    </td></tr><tr><td align="center" colspan="4"> You can either submit this search using all of
            <b>&nbsp; ATLANTIC </b> County by pressing &nbsp;
        <input type="submit" name="Submit" value="Submit"></td><td></td></tr>

以下是我总共尝试的内容：

using (var wb = new WebClient())
{
    var data1 = new NameValueCollection();
    data1["submit"] = "I accept";
    var response1 = wb.UploadValues("https://www20.state.nj.us/LPS_spoff/SetSession", "POST", data1);
    var data = new NameValueCollection();
    data["screen"] = "1";
    data["county"] =  "01";
    data["countyname"] = "ATLANTIC";
    data["pmonth"] = " ";
    data["pday"] = " ";
    data["pyr"] = " ";
    data["Submit"] = "Submit";
    var response = wb.UploadValues("https://www20.state.nj.us/LPS_spoff/findDriver", "POST", data);
    Console.WriteLine(Encoding.Default.GetString(response));
    File.WriteAllText("temp.txt", Encoding.Default.GetString(response));
}

目标是进入结果页面并使用HTMLagilitypack解析它。

上面的代码在上面的列表中输出一个文件temp.txt，列表与网站1相同...而不是它似乎重定向的结果。

总结一下：我想获得违法者的结果，但他们都是帖子回复，我需要帮助有效地导航到结果页面。

注意：我知道我可能会使用硒，但这对我想要的东西来说太多了......

Answer 1

原来有与网站相关的cookie负责重定向。

为了绕过这个，我用了

  var cookieContainer = new CookieContainer();
        using (var handler = new HttpClientHandler() { CookieContainer = cookieContainer })
        using (var client = new HttpClient(handler) { BaseAddress = baseAddress })

一切似乎都运转正常。如果发生这种情况，请检查网站上的cookie。

Webclient Multipage POST＆amp; HTMLAgilityPack

1 个答案: