字符编码Unicode、UTF-8和ANSI的详解

NSI、UTF-8、Unicode为字符代码的三种编码格式，一个字符可以被编码成ANSI、UTF-8或Unicode格式，这三种格式只是表现形式不一样，其表示内容是一样的。

ANSI、UTF-8、Unicode

ANSI、UTF-8、Unicode为字符代码的三种编码格式，一个字符可以被编码成ANSI、UT-F8或Unicode格式，这三种格式只是表现形式不一样，其表示内容是一样的。如下表：

char ANSI(GBK) Unicode UTF-8
中 0xD6D0 0x4E2D 0xE4B8AD

ANSI编码

ANSI表示英文字符时用一个字节，表示中文用两个字节

为了使计算机支持多种语言，不同的国家和地区制定了不同的标准，由此产生了 GB2312, BIG5, JIS 等各自的编码标准。这些使用 2 个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码。在简体中文系统下，ANSI 编码代表 GB2312 编码，在日文操作系统下，ANSI 编码代表 JIS 编码。

对于ANSI编码而言，0x00~0x7F之间的字符，依旧是1个字节代表一个字符(ASCII编码)，而这之外的字符通常是使用0x80~0xFF范围内的两个字节来表示一个字符。比如汉字找那个的’中’在简体中文中使用[0xD6, 0xD0]这两个字节存储。

下表中展示了文在不同ANSI标准下的编码：

char ANSI(GBK) ANSI(Big5) ANSI(JIS) Unicode UTF-8
文 0xCEC4 0xA4E5 0x95B6 0x6587 0xE69687
可以看出，不同ANSI编码之间互不兼容，当信息在国际间交流
时，无法将属于两种语言的文字，存储在同一段 ANSI 编码的文本中。需要将不同的ANSI编码都转换成UTF-8编码，进而存储。

Unicode编码

Unicode字符集编码全称：Universal Multiple-Octet Coded Character Set，通用多八位编码字符集。Unicode字符集是国际组织制定的可以容纳世界上所有文字和符号的编码方案。

Unicode编码使用两个字节（0x0000－0xFFFF）来表示一个字符，世界上任何文字和符号都对应于Unicode字符集中的一个二进制代码，但是：

Unicode只是一个符号集, 它只规定了符号的二进制代码, 却没有规定这个二进制代码应该如何存储。

Unicode编码的优点是覆盖了世界上所有的文字和符号，缺陷则是对于英文字符浪费了一个字节。例如：英文A在unicode中表示为0x0041。

UTF-8编码

UTF-8是Unicode的实现方式之一。

UTF-8全称：8bit Unicode Transformation Format，8比特Unicode通用转换格式。UTF-8是一种针对Unicode的可变长度字符编码。可以表示Unicode标准中的任何一个字符，且其编码中的第一个字节仍然与ASCII兼容。

UTF-8是一种变长的编码方式，可以使用1~6个字节对Unicode字符集进行编码，编码规则如下：

1) 对于单字节的符号, 字节的第一位设为0, 后面7位为这个符号的unicode码. 因此对于
英语字母, UTF-8编码和ASCII码是相同的.

2) 对于n字节的符号(n>1), 第一个字节的前n位都设为1, 第n+1位设为0, 后面字节的前
两位一律设为10. 剩下的没有提及的二进制位, 全部为这个符号的unicode码.

n Unicode符号范围 UTF-8编码方式

1 0000 0000 - 0000 007F 0xxxxxxx
2 0000 0080 - 0000 07FF 110xxxxx 10xxxxxx
3 0000 0800 - 0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx
4 0001 0000 - 0010 FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
5 0020 0000 - 03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
6 0400 0000 - 7FFF FFFF 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

注：在UTF-8编码中，英文字符占一个字节，中文字符占用3个字节。

总结
1、中文操作系统默认ansi编码，生成的txt文件默认为ansi编码。

2、国际文档（txt和xml）使用unicode编码是正宗做法；操作系统和浏览器都能够“理解”unicode编码。浏览器“迫于压力”才“理解”utf-8编码。但是，操作系统有时只认unicode编码。

3、Windows记事本有四个编码选项：ANSI、Unicode、Unicode Big Endian和UTF-8。

ANSI是默认的编码方式。对于英文文件是ASCII编码，对于简体中文文件是GB2312编码（只针对Windows简体中文版，如果是繁体中文版会采用Big5码）。
Unicode编码指的是UCS-2编码方式，即直接用两个字节存入字符的Unicode码。这个选项用的little endian格式。
Unicode big endian编码与上一个选项相对应。采用big endian格式。
UTF-8指带BOM 的UTF-8。
ANSI、UTF-8、Unicode转换
Windows Unicode and Character Sets
Unicode编码字符集是最通用的字符编码标准，Windows应用程序使用Unicode字符集的UTF-16实现版本。同时，Windows也支持传统的字符集：单字节字符集（Single-byte character sets, SBCS）和多字节字符集（Multibyte character sets）。

很多Windows API函数拥有“A”和“W”版本，“A”版本基于Windows Code Page，而“W”版本则基于Unicode字符。应用程序可以通过WideCharToMultiByte和MultiByteToWideChar两个函数来转换Unicode字符串和基于Windows Code Page字符串。虽然函数名中含有“MultiByte”，这些函数实际上能处理SBCS、DBCS和multibyte character set Code page。

编码转换
在Windows平台下，ANSI、UTF-8、Unicode三者之间的转换主要依赖于WideCharToMultiByte和MultiByteToWideChar两个函数。

Unicode转UFT-8：设置WideCharToMultiByte的CodePage参数为CP_UTF8；
UTF-8转Unicode：设置MultiByteToWideChar的CodePage参数为CP_UTF8
Unicode转ANSI：设置WideCharToMultiByte的CodePage参数为CP_ACP；
ANSI转Unicode：设置MultiByteToWideChar的CodePage参数为CP_ACP；
UTF-8转ANSI：先将UTF-8转换为Unicode，再将Unicode转换成ANSI；
ANSI转UTF-8：先将ANSI转换为Unciode，再将Unicode转换成ANSI。