C#HttpClient.SendAsync始终返回404但URL在浏览器中有效

时间:2015-11-05 21:08:46

标签: c# .net http url dotnet-httpclient

我正在开发一个C#控制台应用程序来测试URL是否有效。它适用于大多数URL。但我们发现在某些情况下,应用程序始终从目标站点获得404响应,但URL实际上在浏览器中工作。当我在DHC(Dev HTTP Client)等工具中尝试使用这些URL时,这些URL也可以正常工作。

一开始,我认为这可能是不添加正确标题的原因。但是在尝试使用Fiddler编写具有相同标头的http请求之后,它在Fiddler中工作。

那么我的代码有什么问题? .NET HttpClient中是否有任何错误?

以下是我的测试应用程序的简化代码:

class Program
{
    static void Main(string[] args)
    {
        var urlTester = new UrlTester("http://www.hffa.it/short-master-programs/fashion-photography");

        Console.WriteLine("Test is started");

        Task.WhenAll(urlTester.RunTestAsync());

        Console.WriteLine("Test is stoped");
        Console.ReadKey();
    }


    public class UrlTester
    {
        private HttpClient _httpClient;
        private string _url;

        public UrlTester(string url)
        {
            _httpClient = new HttpClient 
            { 
                Timeout = TimeSpan.FromMinutes(1)
            };

            // Add headers
            _httpClient.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36");
            _httpClient.DefaultRequestHeaders.Add("Accept-Encoding", "gzip,deflate,sdch");
            _httpClient.DefaultRequestHeaders.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
            _httpClient.DefaultRequestHeaders.Add("Accept-Language", "sv-SE,sv;q=0.8,en-US;q=0.6,en;q=0.4");

            _url = url;
        }

        public async Task RunTestAsync()
        {
            var httpRequestMsg = new HttpRequestMessage(HttpMethod.Get, _url);

            try
            {
                using (var response = await _httpClient.SendAsync(httpRequestMsg, HttpCompletionOption.ResponseHeadersRead))
                {
                    Console.WriteLine("Response: {0}", response.StatusCode);
                }
            }
            catch (HttpRequestException e) 
            {
                Console.WriteLine(e.InnerException.Message);
            }
        }
    }

}

2 个答案:

答案 0 :(得分:8)

这似乎是接受语言的问题。使用以下Accept-Language标头值

时,我得到了200响应
_httpClient.DefaultRequestHeaders.Add("Accept-Language", "en-GB,en-US;q=0.8,en;q=0.6,ru;q=0.4");

enter image description here

P.S。我假设您在示例中_client应该知道urlTester构造函数中的_httpClient或者它不会构建。

答案 1 :(得分:0)

此问题的另一个可能原因是您发送的网址长度超过大约2048字节。此时,内容(几乎可以肯定是查询字符串)可能会被截断,这反过来意味着它可能无法与服务器端路由正确匹配。

尽管在浏览器中正确处理了这些网址,但它们也无法在电源外壳中使用get命令。

通过使用带键值对的POST而不是使用带有长查询字符串的GET来解决此问题。