Question

我正在研究一些旧的（并且专门针对win32）的东西，并考虑使其更现代/便携 - 即在C ++ 11中重新实现一些可广泛重复使用的部分。其中一个部分是在utf8和utf16之间进行转换。在Win32 API中，我使用MultiByteToWideChar / WideCharToMultiByte，尝试使用此处的示例代码将这些内容移植到C ++ 11：https://stackoverflow.com/a/14809553。结果是

发布版本（由MSVS 2013编译，在Core i7 3610QM上运行）

stdlib                   = 1587.2 ms
Win32                    =  127.2 ms

调试构建

stdlib                   = 5733.8 ms
Win32                    =  127.2 ms

问题是 - 代码有问题吗？如果一切似乎都没问题 - 这种性能差异是否有充分的理由？

测试代码如下：

#include <iostream>
#include <fstream>
#include <string>
#include <iterator>
#include <clocale>  
#include <codecvt> 

#define XU_BEGIN_TIMER(NAME)                       \
    {                                           \
        LARGE_INTEGER   __freq;                 \
        LARGE_INTEGER   __t0;                   \
        LARGE_INTEGER   __t1;                   \
        double          __tms;                  \
        const char*     __tname = NAME;         \
        char            __tbuf[0xff];           \
                                                \
        QueryPerformanceFrequency(&__freq);     \
        QueryPerformanceCounter(&__t0);         

#define XU_END_TIMER()                             \
        QueryPerformanceCounter(&__t1);         \
        __tms = (__t1.QuadPart - __t0.QuadPart) * 1000.0 / __freq.QuadPart; \
        sprintf_s(__tbuf, sizeof(__tbuf), "    %-24s = %6.1f ms\n", __tname, __tms ); \
        OutputDebugStringA(__tbuf);             \
        printf(__tbuf);                         \
    }   

std::string read_utf8() {
    std::ifstream infile("C:/temp/UTF-8-demo.txt");
    std::string fileData((std::istreambuf_iterator<char>(infile)),
                         std::istreambuf_iterator<char>());
    infile.close();

    return fileData;
}

void testMethod() {
    std::setlocale(LC_ALL, "en_US.UTF-8");
    std::string source = read_utf8();
    {
        std::string utf8;

        XU_BEGIN_TIMER("stdlib") {
            for( int i = 0; i < 1000; i++ ) {
                std::wstring_convert<std::codecvt_utf8_utf16<char16_t>, char16_t> convert2utf16;
                std::u16string utf16 = convert2utf16.from_bytes(source);

                std::wstring_convert<std::codecvt_utf8_utf16<char16_t>, char16_t> convert2utf8;
                utf8 = convert2utf8.to_bytes(utf16);
            }
        } XU_END_TIMER();

        FILE* output = fopen("c:\\temp\\utf8-std.dat", "wb");
        fwrite(utf8.c_str(), 1, utf8.length(), output);
        fclose(output);
    }

    char* utf8 = NULL;
    int cchA = 0;

    {
        XU_BEGIN_TIMER("Win32") {
            for( int i = 0; i < 1000; i++ ) {
                WCHAR* utf16 = new WCHAR[source.length() + 1];
                int cchW;
                utf8 = new char[source.length() + 1];

                cchW = MultiByteToWideChar(
                    CP_UTF8, 0, source.c_str(), source.length(),
                    utf16, source.length() + 1);

                cchA = WideCharToMultiByte(
                    CP_UTF8, 0, utf16, cchW,
                    utf8, source.length() + 1, NULL, false);

                delete[] utf16;
                if( i != 999 )
                    delete[] utf8;
            }
        } XU_END_TIMER();

        FILE* output = fopen("c:\\temp\\utf8-win.dat", "wb");
        fwrite(utf8, 1, cchA, output);
        fclose(output);

        delete[] utf8;
    }
}

Answer 1

在我自己的测试中，我发现wstring_convert的构造函数调用有很大的开销，至少在Windows上。正如其他答案所示，您可能很难击败本机Windows实现，但尝试修改代码以在循环之外构建转换器。我希望你会看到5x到20x之间的改进，特别是在调试版本中。

Answer 2

Win32的UTF8转码因为Vista内部使用SSE效果很好，很少有其他UTF转码器能做到这一点。我怀疑即使是最优化的便携式代码也无法击败它。

然而，如果这个数字超过10倍的时间，那么你为codecvt给出的这个数字就非常慢，并建议一个天真的实现。在编写我自己的UTF-8解码器时，我能够达到Win32的性能的2-3倍。这里有很大的改进空间，但你需要自定义一个codecvt来实现它。

utf8＆lt; - ＆gt; utf16：codecvt性能不佳

2 个答案: