WinHTTP下载空字节还是我错误地复制结果缓冲区?

时间:2012-01-24 13:55:02

标签: c++ winapi http winhttp winhttprequest

我最近将一个完全可用的WinInet程序移植到WinHTTP。这是我编写的一个函数,用于将整个GET请求包装到一行代码中:

bool Get(Url url, std::vector<char>& data, ProgressCallbackFunction progressCallback = nullptr) throw()
{
    long cl = -1;
    DWORD clSize = sizeof(cl);
    DWORD readCount = 0;
    DWORD totalReadCount = 0;
    DWORD availableBytes = 0;
    std::vector<char> buf;

    if (_session != NULL)
        throw std::exception("Concurrent sessions are not supported");

    _session = ::WinHttpOpen(_userAgent.c_str(), WINHTTP_ACCESS_TYPE_NO_PROXY, NULL, NULL, NULL);
    auto connection = ::WinHttpConnect(_session, url.HostName.c_str(), url.Port, 0);
    auto request = ::WinHttpOpenRequest(connection, TEXT("GET"), url.GetPathAndQuery().c_str(), NULL, NULL, NULL, WINHTTP_FLAG_REFRESH);

    if (request == NULL)
    {
        _lastError = ::GetLastError();
        ::WinHttpCloseHandle(_session);
        _session = NULL;
        return false;
    }

    auto sendRequest = ::WinHttpSendRequest(request, WINHTTP_NO_ADDITIONAL_HEADERS, NULL, WINHTTP_NO_REQUEST_DATA, NULL, NULL, NULL);
    if (sendRequest == FALSE)
    {
        _lastError = ::GetLastError();
        ::WinHttpCloseHandle(request);
        ::WinHttpCloseHandle(_session);
        _session = NULL;
        return false;
    }

    if (::WinHttpReceiveResponse(request, NULL))
    {
        if (progressCallback != nullptr && progressCallback != NULL)
        {
            if (!::WinHttpQueryHeaders(request, WINHTTP_QUERY_CONTENT_LENGTH | WINHTTP_QUERY_FLAG_NUMBER, WINHTTP_HEADER_NAME_BY_INDEX, reinterpret_cast<LPVOID>(&cl), &clSize, 0))
            {
                cl = -1;    
            }
        }

        while (::WinHttpQueryDataAvailable(request, &availableBytes))
        {
            if (availableBytes)
            {
                buf.resize(availableBytes + 1);
                auto hasRead = ::WinHttpReadData(request, &buf[0], availableBytes, &readCount);
                totalReadCount += readCount;
                data.insert(data.end(), buf.begin(), buf.begin() + readCount);
                buf.clear();

                if (progressCallback != nullptr && progressCallback != NULL)
                {
                    progressCallback(totalReadCount, cl, getProgress(totalReadCount, cl));
                }
            }
            else
                break;
        }
    }
    else
    {
        _lastError = ::GetLastError();
        ::WinHttpCloseHandle(request);
        ::WinHttpCloseHandle(_session);
        _session = NULL;
        return false;
    }

    ::WinHttpCloseHandle(request);
    ::WinHttpCloseHandle(_session);
    _session = NULL;
    return true;
}

代码正常工作,因为它会下载请求的网址。当服务器没有返回Content-Length标头(当时大多数)时,会出现问题。代码仍然会下载所有数据,但转换为字符串时会有嵌入的空字节。

上面的代码就像这样调用:

Url url(TEXT("http://msdn.microsoft.com/en-us/site/aa384376"));
Client wc;
std::vector<char> results;
wc.Get(url, results);
StdString html(results.begin(), results.end());
StdOut << html << endl;

StdString是typedef std :: basic_string&lt; TCHAR&gt;和StdOut是一个使用cout或wcout的宏,具体取决于是否定义了UNICODE。

由于嵌入的空值,并非所有响应都显示在控制台上。我在调试关闭can be viewed here的情况下运行代码时显示的输出(请注意,换行符只是文本在我的控制台中包装的位置)。在最后的“__in”之后看到第一个空值,并且恰好在“按任意键继续...”输出的位置显示。这是输出的屏幕上限:

Console output

这是html变量值的文本可视化屏幕上限,显示空值与可查看内容的确切位置:

Text visualizer for html

我在某处做了一些不好的复制,还是有一些我不知道的WinHTTP的细微差别?

1 个答案:

答案 0 :(得分:0)

在进一步检查输出后,那些为空。它们是控制台无法显示的unicode字符,因为它们存储不正确(因此转换不正确)。我能够通过更改

来解决Get方法(以及调用代码中)的问题
std::vector<char>

std::vector<unsigned char>

现在一切都很顺利。