汉字编码原理.PPT

第三章汉字编码原理 第三节 汉字编码原理 一、什么是汉字编码 汉字外码：汉字的字母数字代码 计算机人机界面：键盘 字母 数字 控制符号 功能键位 二、汉字编码的历史发展 广义的汉字编码是从汉字字书的编撰算起的。因为字典的编撰，离不开字的排序和检索。 字典是供人来*查阅，编码输入法是让机器到字库中去查找。都是按照某种规则排列和检索汉字*的。 可以说，早期的汉字排字检字法就是汉字编码的早期形式。比如， 笔画部首法、四角号码法、拼音查字法、笔形查字法等。 最早的汉字代码 １８８０年清政府创办电报局，由丹麦人设计的汉字电报码。它的方法是将电报用的汉字按照笔画顺序由少到多排列成一个字表。 使用的字数不到一万，就以字的顺序号作该字的代码。第一个字的代码就是０００１，第五个字的代码就是０００５，第３８５个字的代码就是０３８５。 电报码一直使用到今天，经过不断的修订完善成为《标准电码本》。 十个数字如果转换为二进制表示，则只需四位二进制单位。这样，用“嘀——嗒”两种状态就可以传输汉字了。 电报码的特点是“字”－“码”一一对应，没有重码。 缺点是难以记忆，非经过专门训练无法使用。 三、编码原理 １、确定编码对象 汉字的总字数有６万多，现代汉语常用的也有１万左右。《信息交换用汉字编码字符集基本集》根据各种统计数据确定收入汉字６７６３个。这些汉字就是一个编码对象的数量级。 “大字符集” 包括大陆、台湾、日本、韩国所使用的全部汉字的集合。有２0902字。 数量不同，有关参数也不同。 ２、确定码元类型和数量 码元是用来作为汉字代码的元素。例如， 电报码的码元就是０－９这十个阿拉伯数字。 码元的种类和数量与编码容量、以及码长、重码数等指标直接相关。 比如电报码，采用十个数目字作码元，四位码长的编码容量至多１００００个汉字，从００００到９９９９。超过１万字就是出现重码，否则就必须增加码长。 一般的编码方案多采用２６个英文字母作码元， 也有的在这个基础上再增加１０个数目字，使码元数增加到３６个的方案， 还有的把字母键盘区的其它功能键也利用上的。 这种需要增加码元数的方案多数是形码方案。 ３、确定编码规则 理想的规则是“字码意义对应” 、规则简单，好学易记，没有复杂的条件限制或特例情况。 实际上最难做到。 比如按形排序，同笔画数的字很多，同笔画的字当中，起笔相同的也不少，甚至笔顺相同的也有。究竟谁先谁后，难以给出一个标准。 按音排序也有个同音字的先后问题。同音、同调、同笔画数的汉字再按什么条件排先后，都是难题。 人为地增加许多规定，势必增加用户的学习量。 ４、编制码表 所谓码表就是“字”－“码”对照表。 按照确定的编码规则将《基本集》中的全部汉字逐个给出正确的代码，形成一个字码对照表。 ５、编制软件、上机实现 这部分是软件人员的工作。软件人员根据编码规则和码表， 设计一个查字管理程序，经过调试，准确无误，就可以投入使用。 至此，一个汉字编码系统就完成了从设计到实现的整个过程。 四、汉字编码的技术参数指标 汉字编码是一个理论与实践性都很强的课题，而最重要的是它的实践性，也即在实际应用中的效果。 因为这是要解决汉字信息处理的第一个“人机界面”，所以，几乎全部技术指标都与“人”密切相关。 在“人服从机器”还是“机器服从人”这个问题上，曾经有过一个认识过程。 开始为了使机器能够处理汉字，主要是从机器出发的，重点考虑机器的特点和条件，较少考虑人的特点和需要。 后来才将立脚点转移到“人”这方面来，将许多困难都留给机器，使机器对人服务得友好、周到，人的操作变得轻松、愉快。 什么是理想的编码 １、规则简单。 一般具有中等文化水平的人不需要经过专门培训就可以通过“自学”完全掌握。 如果能够利用人的常识和知识，如果这种常识和知识中涉及或包括了关于汉字的基本知识， 编码规则应当简化到不需要特殊的规则的地步。 　２、码元数量少 一般不超过３６个，即２６个字母外加１０个数字键。最好只使用２６个字母键。 这样，对于人来说记忆量减少，对于机器来说，在键盘管理方面较好处理。 ３、码长短 每个汉字的代码不超过四码。如果采用简码和不等长码处理的话， 平均码长应当在３码以下。 ４、编码容量具有可扩展性 汉字信息处理除了《基本集》的６７６３个汉字外，随着实际应用的发展，不可避免地出现繁体汉字的问题以及大字符集的问题。 理想的汉字编码应当在不增加或少增加规则的基础上，就能够使编码容量扩展到繁体汉字或更大的范围。 ５、采用词语编码 应具有足够的词汇编码容量。词语码最长不超过４码。 应该给用户提供足够的词库扩展空间和扩展手段，使用户能够方便自如地根据自己的需要增加用户词汇。 ６、重码率低 一般用户可以实现“盲打”，即不用看键盘（有一定的键盘基础的情况下）和提示行就能够输入汉字。 只有能