python字符编码.PDF

⼀、 ASCII 码 标准 ASCII 码使用 7 位⼆进制数表示⼤写或小写字 母，数字 0 到 9 标点符号以及在美式英语中使用的特殊 控制字符。 在标准 ASCII 码中，最⾼位（b7）用作奇偶校验位， 所谓奇偶校验 ，是指在代码传送过程中用来检验是否出 现错误的⼀种⽅法，⼀般分奇校验和偶校验两种。奇校 验规定：正确的代码⼀个字节中 1 的个数不许是奇数， 若非奇数，则在最⾼位 b7 添 1 ；偶校验规定：正确的 代码⼀个字节中 1 的个数必须是偶数，若非偶数，则在 最⾼ b7 添 1. 后 128 个称为扩展 ASCII 码。许多基于 x86 的系统 都支持使用扩展（或“ ⾼”）ASCII 。扩展 ASCII 码允许将 每个字符的第 8 位用于确定附加的 128 个特殊字符、外 来语字符和图形符号。 常见的 ASCII 码⼤小： 换⾏ LF 位 0x0A 回车 CR 位 0x0D 空格 0x20 0 0x30 A 0x41 a 0x61 ⼆、 扩展 ASCII 码 扩展 ASCII 码是从 128-255 的字符。 三、 Unicode 编码 Unicode 只是⼀个符号集，它规定里符号的⼆进制 代码，却没有规定⼆进制代码如何存储。 所谓的 Unicode 编码指的是 UCS 编码⽅式，即直接 存⼊符号的 Unicode ⼆进制代码。 四、 UTF-8 编码 UTF-8 是互联⽹上使用最⼴泛的⼀种 Unicode 的 实现⽅式。 UTF-8 是⼀种变长的编码⽅式，它使用 1-4 个字节 表示⼀个符号，根据不同的符号选择不同长度的字节表 示。 UTF-8 的编码规则： 1） 对于单⼦节的符号，⼦节的第⼀位设为 0 ， 后面 7 位为这个符号的 unicode 码。因此 对于英语字母，UTF-8 编码和 ASCII 码是 相同的。 2） 对于 n ⼦节的符号（n1），第⼀个⼦节的 前 n 位都设为 1 ，第 n+1 位设为 0 ，后面 ⼦节的前两位⼀律设为 10.剩下没有提及 的⼆进制位，全部为这个符号的 unicode 码。 Unicode 符号范围（16 进制） UTF-8 编码⽅式（2 进制） 0000 0000-0000 007F 0xxxxxxx 0000 0080-0000 07FF 110xxxxx 10xxxxxx 0000 0080-0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx 11110xxx 10xxxxxx 10xxxxxx 0001 0000-00