std :: string和UTF-8编码的unicode

Question

如果我理解的话，可以使用string和wstring来存储UTF-8文本。

• 对于char，ASCII字符占用一个字节，一些汉字占用3或4等。这意味着str[3]不一定指向第4个字符。

• wchar_t同样的事情，但每个字符使用的最小字节数总是2（而不是char的1），而3或4字节宽的字符需要2 wchar_t。

对吗？

那么，如果我想将string::find_first_of()或string::compare()等用于这样一个奇怪的编码字符串怎么办？它会起作用吗？字符串类是否处理字符具有可变大小的事实？或者我应该只将它们用作虚拟无特征字节数组，在这种情况下，我宁愿选择wchar_t[]缓冲区。

如果std::string没有处理，第二个问题：是否有库提供可以处理UTF-8编码的字符串类，以便str[3]实际指向第3个字符（这将是一个字节数组从长度1到4）？

Answer 1

你在谈论Unicode。 Unicode使用32位来表示字符。然而，由于这会浪费内存，因此存在更紧凑的编码。 UTF-8就是这样一种编码。它假定您使用字节单位并将Unicode字符映射到1,2,3或4个字节。 UTF-16是另一种使用单词作为单位并将Unicode字符映射到1或2个字（2或4个字节）的UTF-16。 您可以同时使用string和wchar_t进行编码。对于英文文本/数字，UTF-8往往更紧凑。

无论使用何种编码和类型（比较），都会有效。但是，所有需要理解一个角色的功能都将被破坏。即第5个字符并不总是底层数组中的第5个字符。它可能看起来像是在使用某些示例，但它最终会破坏。 string :: compare可以工作，但不希望按字母顺序排序。这取决于语言。 string :: find_first_of适用于某些但不是全部。长字符串可能只是因为它们很长而较短，而较短字符串可能会因字符对齐而混淆并产生非常难以发现的错误。

最好的办法是找到一个为你处理它的库并忽略下面的类型（除非你有充分的理由选择其中一个）。

Answer 2

您无法使用标准库中的std :: string或任何其他工具处理Unicode。使用外部库，例如：http://utfcpp.sourceforge.net/

Answer 3

你是对的：
...这意味着str [3]不一定指向第4个字符...仅将它们用作虚拟无特征字节数组...

C ++字符串只能处理ascii字符。这与可以处理Unicode字符的Java字符串不同。您可以将中文字符的编码结果（字节）存储到字符串中（C / C ++中的字符只是字节），但这没有意义，因为字符串只是将字节视为ascii字符，因此您不能使用字符串函数来处理它。
wstring可能是你需要的东西。

有些事情应该澄清。 UTF-8只是Unicode字符的编码方法（将字符转换为字节格式）。