是否可以以独立于平台的方式将std :: string中的UTF8字符串转换为std :: wstring，反之亦然？在Windows应用程序中，我将使用MultiByteToWideChar和WideCharToMultiByte。但是，代码是为多个操作系统编译的，我只限于标准C ++库。
答案 0 :(得分：41)
5年前我问过这个问题。这个帖子对我来说非常有帮助，我得出结论，然后我继续我的项目。有趣的是，我最近需要类似的东西，与过去的项目完全无关。在我研究可能的解决方案时，我偶然发现了自己的问题：）
我现在选择的解决方案基于C ++ 11。 Constantin在his answer中提到的增强库现在已成为标准的一部分。如果我们用新的字符串类型std :: u16string替换std :: wstring，那么转换将如下所示：
UTF-8到UTF-16
std::string source;
...
std::wstring_convert<std::codecvt_utf8_utf16<char16_t>,char16_t> convert;
std::u16string dest = convert.from_bytes(source);
UTF-16到UTF-8
std::u16string source;
...
std::wstring_convert<std::codecvt_utf8_utf16<char16_t>,char16_t> convert;
std::string dest = convert.to_bytes(source);
从其他答案可以看出，问题有多种方法。这就是为什么我不选择接受的答案。
答案 1 :(得分：25)
答案 2 :(得分：23)
您可以从utf8_codecvt_facet中提取Boost serialization library。
他们的用法示例：
typedef wchar_t ucs4_t;
std::locale old_locale;
std::locale utf8_locale(old_locale,new utf8_codecvt_facet<ucs4_t>);
// Set a New global locale
std::locale::global(utf8_locale);
// Send the UCS-4 data out, converting to UTF-8
{
std::wofstream ofs("data.ucd");
ofs.imbue(utf8_locale);
std::copy(ucs4_data.begin(),ucs4_data.end(),
std::ostream_iterator<ucs4_t,ucs4_t>(ofs));
}
// Read the UTF-8 data back in, converting to UCS-4 on the way in
std::vector<ucs4_t> from_file;
{
std::wifstream ifs("data.ucd");
ifs.imbue(utf8_locale);
ucs4_t item = 0;
while (ifs >> item) from_file.push_back(item);
}
在boost源中查找utf8_codecvt_facet.hpp和utf8_codecvt_facet.cpp个文件。
答案 3 :(得分：16)
问题定义明确指出8位字符编码是UTF-8。这使得这是一个微不足道的问题;所需要的只是将一个UTF规范转换为另一个规范。
只需查看这些维基百科页面上UTF-8，UTF-16和UTF-32的编码。
原理很简单 - 根据一个UTF规范进行输入并组装一个32位Unicode代码点，然后根据另一个规范发出代码点。单个代码点不需要翻译，任何其他字符编码都需要翻译;这就是造成这个问题的原因。
这是wchar_t到UTF-8转换的快速实现，反之亦然。它假设输入已经正确编码 - 旧句子“垃圾输入，垃圾输出”适用于此处。我相信验证编码最好是单独完成。
std::string wchar_to_UTF8(const wchar_t * in)
{
std::string out;
unsigned int codepoint = 0;
for (in; *in != 0; ++in)
{
if (*in >= 0xd800 && *in <= 0xdbff)
codepoint = ((*in - 0xd800) << 10) + 0x10000;
else
{
if (*in >= 0xdc00 && *in <= 0xdfff)
codepoint |= *in - 0xdc00;
else
codepoint = *in;
if (codepoint <= 0x7f)
out.append(1, static_cast<char>(codepoint));
else if (codepoint <= 0x7ff)
{
out.append(1, static_cast<char>(0xc0 | ((codepoint >> 6) & 0x1f)));
out.append(1, static_cast<char>(0x80 | (codepoint & 0x3f)));
}
else if (codepoint <= 0xffff)
{
out.append(1, static_cast<char>(0xe0 | ((codepoint >> 12) & 0x0f)));
out.append(1, static_cast<char>(0x80 | ((codepoint >> 6) & 0x3f)));
out.append(1, static_cast<char>(0x80 | (codepoint & 0x3f)));
}
else
{
out.append(1, static_cast<char>(0xf0 | ((codepoint >> 18) & 0x07)));
out.append(1, static_cast<char>(0x80 | ((codepoint >> 12) & 0x3f)));
out.append(1, static_cast<char>(0x80 | ((codepoint >> 6) & 0x3f)));
out.append(1, static_cast<char>(0x80 | (codepoint & 0x3f)));
}
codepoint = 0;
}
}
return out;
}
以上代码适用于UTF-16和UTF-32输入，只是因为范围d800到dfff是无效的代码点;它们表明您正在解码UTF-16。如果你知道wchar_t是32位，那么你可以删除一些代码来优化函数。
std::wstring UTF8_to_wchar(const char * in)
{
std::wstring out;
unsigned int codepoint;
while (*in != 0)
{
unsigned char ch = static_cast<unsigned char>(*in);
if (ch <= 0x7f)
codepoint = ch;
else if (ch <= 0xbf)
codepoint = (codepoint << 6) | (ch & 0x3f);
else if (ch <= 0xdf)
codepoint = ch & 0x1f;
else if (ch <= 0xef)
codepoint = ch & 0x0f;
else
codepoint = ch & 0x07;
++in;
if (((*in & 0xc0) != 0x80) && (codepoint <= 0x10ffff))
{
if (sizeof(wchar_t) > 2)
out.append(1, static_cast<wchar_t>(codepoint));
else if (codepoint > 0xffff)
{
out.append(1, static_cast<wchar_t>(0xd800 + (codepoint >> 10)));
out.append(1, static_cast<wchar_t>(0xdc00 + (codepoint & 0x03ff)));
}
else if (codepoint < 0xd800 || codepoint >= 0xe000)
out.append(1, static_cast<wchar_t>(codepoint));
}
}
return out;
}
再次，如果你知道wchar_t是32位，你可以从这个函数中删除一些代码，但在这种情况下，它应该没有任何区别。表达式sizeof(wchar_t) > 2在编译时是已知的，因此任何体面的编译器都会识别死代码并将其删除。
答案 4 :(得分：13)
有几种方法可以做到这一点，但结果取决于string和wstring变量中的字符编码。
如果你知道string是ASCII，你可以简单地使用wstring的迭代器构造函数：
string s = "This is surely ASCII.";
wstring w(s.begin(), s.end());
但是，如果您的string有其他编码，那么您的结果会非常糟糕。如果编码是Unicode，您可以查看ICU project，它提供了一组跨平台的库，可以转换为各种Unicode编码。
如果您的string包含代码页中的字符，那么$ DEITY可能会怜悯您的灵魂。
答案 5 :(得分：4)
感谢bames53提供更新版本
答案 6 :(得分：2)
您可以使用codecvt locale facet。定义了一个特定的特化，codecvt<wchar_t, char, mbstate_t>可能对您有用，但是，它的行为是特定于系统的，并不保证以任何方式转换为UTF-8。
答案 7 :(得分：1)
UTFConverter - 看看这个图书馆。 它做了这样的转换，但你还需要ConvertUTF类 - 我发现它here
答案 8 :(得分：0)
为utf-8到utf-16 / utf-32转换创建了自己的库-但为此目的决定创建现有项目的分支。
https://github.com/tapika/cutf
（源自https://github.com/noct/cutf）
API可以与普通C以及C ++一起使用。
函数原型如下：（有关完整列表，请参见https://github.com/tapika/cutf/blob/master/cutf.h）
//
// Converts utf-8 string to wide version.
//
// returns target string length.
//
size_t utf8towchar(const char* s, size_t inSize, wchar_t* out, size_t bufSize);
//
// Converts wide string to utf-8 string.
//
// returns filled buffer length (not string length)
//
size_t wchartoutf8(const wchar_t* s, size_t inSize, char* out, size_t outsize);
#ifdef __cplusplus
std::wstring utf8towide(const char* s);
std::wstring utf8towide(const std::string& s);
std::string widetoutf8(const wchar_t* ws);
std::string widetoutf8(const std::wstring& ws);
#endif
用于utf转换测试的示例用法/简单测试应用程序：
#include "cutf.h"
#define ok(statement) \
if( !(statement) ) \
{ \
printf("Failed statement: %s\n", #statement); \
r = 1; \
}
int simpleStringTest()
{
const wchar_t* chineseText = L"主体";
auto s = widetoutf8(chineseText);
size_t r = 0;
printf("simple string test: ");
ok( s.length() == 6 );
uint8_t utf8_array[] = { 0xE4, 0xB8, 0xBB, 0xE4, 0xBD, 0x93 };
for(int i = 0; i < 6; i++)
ok(((uint8_t)s[i]) == utf8_array[i]);
auto ws = utf8towide(s);
ok(ws.length() == 2);
ok(ws == chineseText);
if( r == 0 )
printf("ok.\n");
return (int)r;
}
如果此库不满足您的需求-请随时打开以下链接：
并向下滚动至页面末尾，然后选择您喜欢的任何较重的库。
答案 9 :(得分：-1)
我不认为有这样做的便携方式。 C ++不知道其多字节字符的编码。
正如克里斯所说，你最好的选择是使用codecvt。