20081024从Unicode到UTF-8编码.pdf

山东师范大学信息科学与工程学院 字节顺序标记BOM 的产生 硕士研究生课程 硕士研究生课程 “奎”的Unicode编码是594E， “乙”的Unicode编码是4E59 。 如果收到了UTF-16字节流 字符集与UTF-8编码 “594E”，那么这是“奎”还是“乙” ？ Unicode规范中推荐的标记字节 顺序的方法是BOM—Byte Order Mark 。 2 山东师范大学信息学院研究生课程 2008年10月25 日星期六 字节顺序标记BOM 的作用 什么是little endian和big endian 读取来源文件时，转码器会查找 Unicode little endian和big endian是CPU处理多字节数的不 的字节顺序标记。如果在文件的开头找到此特 同方式。 Unicode 字符可以按两种不同的字节顺序存储：big- 别的双字节顺序，则它会假设以下的文字为宽 endian 和 little-endian 。在Little-Endian 平台（如 Intel 字符顺序。转码器也会查找 Unicode 的反转字 计算机）上，按 Little-Endian 顺序存储 Unicode 字符 节顺序标记。在此情况下，它也会将它假设为 通常效率更高。Intel 的处理器都运行little endian，而 Motorola 的处理器(一些大型机和UNIX系统)则运行 big Unicode 文字，但是它会自动切换每个宽字符 endian 。 的低和高字节。 例如“汉”字的Unicode编码是6C49 。那么写 字节顺序在以不同的 endian 模式运行的系 到文件里时，究竟是将6C写在前面，还是将49 统中对调时十分重要。例如， Intel 的处理器 写在前面？如果将6C写在前面，就是big 都运行 little endian，而 Motorola 的处理器则 endian 。还是将49写在前面，就是little endian 。 运行 big endian 。 3 4 山东师范大学信息学院研究生课程 2008年10月25 日星期六 山东师范大学信息学院研究生课程 2008年10月25 日星期六 什么是little endian和big endian Unicode字节顺序标记 在 big-endian 结构中，首先写入和读取的 用字节顺序标记 (U+FEFF) 作为 UTF-16 编 是最重要的字节，而在 little-endian 结构中，