std :: string和UTF-8编码的unicode

时间:2013-09-07 09:27:37

标签: c++ string unicode utf-8

如果我理解的话,可以使用string和wstring来存储UTF-8文本。

  • 对于char,ASCII字符占用一个字节,一些汉字占用3或4等。这意味着str[3]不一定指向第4个字符。

  • wchar_t同样的事情,但每个字符使用的最小字节数总是2(而不是char的1),而3或4字节宽的字符需要2 wchar_t

对吗?

那么,如果我想将string::find_first_of()string::compare()等用于这样一个奇怪的编码字符串怎么办?它会起作用吗?字符串类是否处理字符具有可变大小的事实?或者我应该只将它们用作虚拟无特征字节数组,在这种情况下,我宁愿选择wchar_t[]缓冲区。

如果std::string没有处理,第二个问题:是否有库提供可以处理UTF-8编码的字符串类,以便str[3]实际指向第3个字符(这将是一个字节数组从长度1到4)?

3 个答案:

答案 0 :(得分:5)

你在谈论Unicode。 Unicode使用32位来表示字符。然而,由于这会浪费内存,因此存在更紧凑的编码。 UTF-8就是这样一种编码。它假定您使用字节单位并将Unicode字符映射到1,2,3或4个字节。 UTF-16是另一种使用单词作为单位并将Unicode字符映射到1或2个字(2或4个字节)的UTF-16。 您可以同时使用string和wchar_t进行编码。对于英文文本/数字,UTF-8往往更紧凑。

无论使用何种编码和类型(比较),都会有效。但是,所有需要理解一个角色的功能都将被破坏。即第5个字符并不总是底层数组中的第5个字符。它可能看起来像是在使用某些示例,但它最终会破坏。 string :: compare可以工作,但不希望按字母顺序排序。这取决于语言。 string :: find_first_of适用于某些但不是全部。长字符串可能只是因为它们很长而较短,而较短字符串可能会因字符对齐而混淆并产生非常难以发现的错误。

最好的办法是找到一个为你处理它的库并忽略下面的类型(除非你有充分的理由选择其中一个)。

答案 1 :(得分:2)

您无法使用标准库中的std :: string或任何其他工具处理Unicode。使用外部库,例如:http://utfcpp.sourceforge.net/

答案 2 :(得分:-1)

你是对的:
...这意味着str [3]不一定指向第4个字符...仅将它们用作虚拟无特征字节数组...

C ++字符串只能处理ascii字符。这与可以处理Unicode字符的Java字符串不同。您可以将中文字符的编码结果(字节)存储到字符串中(C / C ++中的字符只是字节),但这没有意义,因为字符串只是将字节视为ascii字符,因此您不能使用字符串函数来处理它。
wstring可能是你需要的东西。

有些事情应该澄清。 UTF-8只是Unicode字符的编码方法(将字符转换为字节格式)。