第5章5.1文本与文本处理.pptVIP

第5章 数字媒体及应用 5.1 文本与文本处理 5.2 图像与图形 5.3 数字声音及应用 5.4 数字视频及应用 5.1 文本与文本处理 文字处理是计算机应用的基础 计算机应用＝使用计算机进行信息处理 传统的文字处理过程 计算机文字处理过程 文字信息在计算机中称为“文本”（text），文本是计算机中最常用的一种数字媒体 文本由一系列 “字符”（character）组成，每个字符均使用二进制编码表示 文本在计算机中的处理过程是： 5.1.1. 字符在计算机中的表示 字符、字符集及其码表 文字的基本元素是字母和符号，统称为“字符” (character)，它包括：字母、数字、标点、符号等 字符集：一组特定字符的集合 不同的字符集包含的字符数目与内容不同，如： 中文字符集、西文字符集、日文字符集等 字符的编码： 字符集中每个字符都使用二进位(code) 表示，称为该字符的编码 不同的字符其编码各不相同 字符集中所有字符的编码的一览表，称为该字符集的码表 西文字符的编码——ASCII码 西文是表音文字(拼音文字)，它由拉丁字母、数字、标点符号以及一些特殊符号所组成 美国标准信息交换码(American Standard Code for Information Interchange, 简称ASCII码)： ASCII字符集包含96个可打印字符和32个控制字符 采用7个二进位进行编码 计算机中使用1个字节存储1个ASCII 字符 存在问题： 7位代码空间太小（只能对128个字符编码） 不同国家和地区使用不同的字符集及其编码，互不兼容 东亚地区使用的大字符集无法编码 标准ASCII字符集及其码表 汉字如何编码？ 汉字是记录汉语（国语，华语）的文字，属于表意文字，它用符号直接表达词或词素 汉字的特点 数量大；多个国家和地区使用；字形复杂，同音字多，异体字多 如何编码？ 确定收入多少字、哪些字？ 汉字在字符集中的排序方式 确定使用的代码结构和代码空间 常用的汉字编码字符集 国家标准GB2312 汉字扩充规范 GBK 国家标准GB18030 台湾地区的标准汉字字符集CNS 11643 (BIG 5，俗称“大五码”) 日本工业标准汉字字符集JIS X 0208-90 韩国国家标准汉字字符集KSC 5601-87 GB2312汉字编码字符集 1980年颁布《信息交换用汉字编码字符集·基本集》——GB2312-1980 GB2312字符集由三个部分构成： GB2312汉字的编码 每一个GB2312汉字使用16位(2个字节)表示 每个字节的最高位均为“1” 在16位代码空间中的码位分布： GB2312汉字编码的不足之处 GB2312汉字字数太少，无法满足一些特殊应用的需要： 人名、地名； 古籍整理、古典文献研究。 没有繁体字 编码效率不高: (6763+682)/65536 与ASCII码不兼容 几种汉字编码的对比 背景材料：UCS/Unicode 解决多文种信息处理方法的发展： 传统方法（ISO）：扩展ASCII码 微软的方法：代码页切换 UCS/Unicode：所有文字字母和符号集中在同一字符集进行统一编码(目前收集了17x216＝1,114,112 个) UCS/Unicode的编码方案： 尽量与已有编码标准兼容 先实现部分字符的编码（101,000个） 允许有若干不同的编码方案, 例如： 背景材料：GB18030 无论是Unicode的UTF-8还是UTF-16，其CJK汉字字符集虽然覆盖了我国已使用多年的GB2312和GBK标准中的汉字，但它们的编码并不相同 为了既能与UCS/Unicode编码标准接轨，又能保护我国已有的大量汉字信息资源，我国在2000年和2005年两次发布GB18030汉字编码国家标准。 GB18030实际上是UCS/Unicode字符集的另一种编码方案： 单字节编码（129个）表示ASCII字符 双字节编码（23940个）表示汉字，与GBK（以及GB2312）保持向下兼容 四字节编码（约158万个）用于表示 UCS/Unicode中的其他字符 GB18030目前已在我国信息处理产品中强制贯彻执行。 例: IE浏览网页时文字编码的选择 5.1.2. 文本准备 ——文稿如何输入计算机 文字符号输入计算机的方法 文字符号输入计算机的方法 文字符号输入计算机的方法 文字符号输入计算机的方法 文字符号输入计算机的方法 汉字的键盘输入 汉字与键盘上的键无法一一对应，因此必须使用几个键来表示一个汉字，这就称为汉字的“键盘输入编码” 优秀的汉字键盘输入编码应具有的特点： 易学习、易记忆 效率高(平均击键次数较少) 重码少 容量大(可输入的汉字字数多) 汉字键盘输入方法的比较 5.1.4 文