我想计算给定的字符串数（UTF-8），如果以chines或greek或其他UTF-8字符串给出的输入格式，我可以得到。
程序：
#include <stdio.h>
#define VAL_E0 0xE0
#define VAL_C0 0xC0
int UILexerCheckIsMultiByte(char *pchText , int nLength)
{
unsigned int nLen = nLength;
printf ("%s:%d pchText:%s nLen: %d \n", __FUNCTION__, __LINE__, pchText, nLen);
char *pchPtr = pchText;
int tmpVal = VAL_E0;
int nVal_C0 = VAL_C0;
int nByteCnt = 2;
int bIsfound = false;
while (nLen)
{
if ((pchText[nLen-1] & VAL_C0) == VAL_C0)
{
do
{
if ((pchText[nLen-1] & tmpVal) == nVal_C0)
{
bIsfound = true;
break;
}
nByteCnt++;
tmpVal = tmpVal >> 1 | 0x80;
nVal_C0= nVal_C0>> 1 | 0x80;
}while(tmpVal != 0xFF);
if (bIsfound)
break;
}
nLen--;
}
return nByteCnt;
}
int main()
{
if (setlocale(LC_ALL, "en_US.UTF-8") == NULL) {
abort();
}
char pchBuf[80] = "";
printf("\n Enter the character upto 20 in any form \n");
scanf("%[^\n]s",pchBuf);
int nLength=0;
int nMaxLen=20;
int nCharCnt = 0;
do
{
if (pchBuf[nLength]& 0x80)
{
int nByteCnt=0;
nByteCnt = UILexerCheckIsMultiByte(pchBuf, nMaxLen);
nLength += nByteCnt;
nCharCnt++;
}
else
{
nCharCnt++;
nLength++;
}
}
//while(nLength<nMaxLen);
while(pchBuf[nLength] != '\0');
printf ("CharCnt: %d \n", nCharCnt);
return 0;
}
示例输出：
- ＆GT; ./a.out
Enter the character upto 20 in any form a擇擇cd UILexerCheckIsMultiByte:11 pchText:a擇擇cd nLen: 20 UILexerCheckIsMultiByte:11 pchText:a擇擇cd nLen: 20 CharCnt: 5 -> ./a.out Enter the character upto 20 in any form 中国话 不用彁 字。 UILexerCheckIsMultiByte:11 pchText:中国话 不用彁 字。 nLen: 20 UILexerCheckIsMultiByte:11 pchText:中国话 不用彁 字。 nLen: 20 UILexerCheckIsMultiByte:11 pchText:中国话 不用彁 字。 nLen: 20 UILexerCheckIsMultiByte:11 pchText:中国话 不用彁 字。 nLen: 20 UILexerCheckIsMultiByte:11 pchText:中国话 不用彁 字。 nLen: 20 UILexerCheckIsMultiByte:11 pchText:中国话 不用彁 字。 nLen: 20 UILexerCheckIsMultiByte:11 pchText:中国话 不用彁 字。 nLen: 20 UILexerCheckIsMultiByte:11 pchText:中国话 不用彁 字。 nLen: 20 CharCnt: 10 -> ./a.out Enter the character upto 20 in any form Янего UILexerCheckIsMultiByte:11 pchText:Янего nLen: 20 UILexerCheckIsMultiByte:11 pchText:Янего nLen: 20 UILexerCheckIsMultiByte:11 pchText:Янего nLen: 20 UILexerCheckIsMultiByte:11 pchText:Янего nLen: 20 UILexerCheckIsMultiByte:11 pchText:Янего nLen: 20 CharCnt: 5
当我使用混合的UTF-8字符时，计数不正常。
- ＆GT; ./a.out
Enter the character upto 20 in any form 用彁 Ĉĉ <==Chinese + roman UILexerCheckIsMultiByte:11 pchText:用彁 Ĉĉ nLen: 20 UILexerCheckIsMultiByte:11 pchText:用彁 Ĉĉ nLen: 20 UILexerCheckIsMultiByte:11 pchText:用彁 Ĉĉ nLen: 20 UILexerCheckIsMultiByte:11 pchText:用彁 Ĉĉ nLen: 20 UILexerCheckIsMultiByte:11 pchText:用彁 Ĉĉ nLen: 20 CharCnt: 6 -> ./a.out Enter the character upto 20 in any form 彁用 Αυ <==Chinese + Greek UILexerCheckIsMultiByte:11 pchText:彁用 Αυ nLen: 20 UILexerCheckIsMultiByte:11 pchText:彁用 Αυ nLen: 20 UILexerCheckIsMultiByte:11 pchText:彁用 Αυ nLen: 20 UILexerCheckIsMultiByte:11 pchText:彁用 Αυ nLen: 20 UILexerCheckIsMultiByte:11 pchText:彁用 Αυ nLen: 20 CharCnt: 6
我需要做些什么修改才能获得正确的字符数？
答案 0 :(得分：1)
主要问题在于UILexerCheckIsMultiByte。要解码utf8流，您需要查看 在每个字节的第一个（最高）2位。 如果他们是＆＃34; 01＆＃34;它是一个8位字符代码， 如果他们是＆＃34; 11＆＃34;它是多字节序列的第一个字节， 如果他们是＆＃34; 10＆＃34;它是多字节序列中的一个字节。
你的第一个二进制比较是正确的： （ch＆amp; 0xC0）== 0xC0 - 这将掩盖前两位并检查模式＆＃34; 11xxxxxx＆＃34; （x表示不在乎）
但你的下一次比较是错误的。在第一次运行中，您检查： （ch＆amp; 0xE0）== 0xC0 - 这将掩盖前三位并检查模式＆＃34; 11xxxxx＆＃34;但你应该检查＆＃34; 10xxxxxx＆＃34;。
所以也许你看一下下面的代码： 有两个版本的strlen和一个函数来计算多字节序列的字节数。
/* gcc -Wall -o strlen strlen.c */
#include "stdio.h"
int utf8charsize(char *s)
{
int cnt=0;
if( *s ) {
cnt++;
if( (*s & 0xc0) == 0x0c0 ) { /* binary is 11xxxxxx */
while( (s[cnt] & 0xc0) == 0x80 ) /* binary code is 10xxxxxx */
cnt++;
}
}
printf("-- %d\n", cnt );
return cnt;
}
int utf8strlen(char *s)
{
int cnt=0;
int clen;
while(*s) {
clen=utf8charsize(s);
cnt++;
s+=clen;
}
return cnt;
}
int utf8strlen2(char *s)
{
int cnt=0;
while(*s) {
cnt++;
if( (*s++ & 0xc0) == 0x0c0 ) { /* binary is 11xxxxxx */
while( (*s & 0xc0) == 0x80 ) /* binary code is 10xxxxxx */
s++;
}
}
return cnt;
}
int main(int argc, char **argv)
{
if( argc > 1 )
printf("%d %d\n", utf8strlen(argv[1]), utf8strlen2(argv[1]));
return 0;
}