如何判断一个字符串是否是UTF8编码

发表于 | 分类于

编码原理

　　先看这个模板：

1
2
3
4
5
6
7
　　UCS-4 range (hex.) UTF-8 octet sequence (binary)
　　0000 0000-0000 007F 0xxxxxxx
　　0000 0080-0000 07FF 110xxxxx 10xxxxxx
　　0000 0800-0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx
　　0001 0000-001F FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
　　0020 0000-03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
　　0400 0000-7FFF FFFF 1111110x 10xxxxxx ... 10xxxxxx

代码实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
BOOL IsTextUTF8(char* str,ULONGLONG length)  
    {  
        DWORD nBytes=0;//UFT8可用1-6个字节编码,ASCII用一个字节  
        UCHAR chr;  
        BOOL bAllAscii=TRUE; //如果全部都是ASCII, 说明不是UTF-8  
        for(int i=0; i<length; ++i)  
        {  
            chr= *(str+i);  
            if( (chr&0x80) != 0 ) // 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,但用一个字节存,最高位标记为0,o0xxxxxxx  
                bAllAscii= FALSE;  
            if(nBytes==0) //如果不是ASCII码,应该是多字节符,计算字节数  
            {  
                if(chr>=0x80)  
                {  
                    if(chr>=0xFC&&chr<=0xFD)  
                        nBytes=6;  
                    else if(chr>=0xF8)  
                        nBytes=5;  
                    else if(chr>=0xF0)  
                        nBytes=4;  
                    else if(chr>=0xE0)  
                        nBytes=3;  
                    else if(chr>=0xC0)  
                        nBytes=2;  
                    else  
                        return FALSE;  
      
                    nBytes--;  
                }  
            }  
            else //多字节符的非首字节,应为 10xxxxxx  
            {  
                if( (chr&0xC0) != 0x80 )  
                    return FALSE;  
      
                nBytes--;  
            }  
        }  
        if( nBytes > 0 ) //违返规则  
            return FALSE;  
        if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8  
            return FALSE;  
      
        return TRUE;  
    }