中文字符集问题解析.doc

2012-07-19################2012-07-19#######2#012-07-19######## 中文字符集问题解析 文 /中国人民银行软件开发中心 赵新鹏 尹建松 尹德明 在理及显示问题。当系统中涉及多种操作系统、开发语 计算机应用系统的开发过程中，经常会遇到汉字的处 到 M Q 内部网关。 4）W AS 从M Q 内部网关收到报文后将字节流还原为字符 串进行处理。 5）W AS 将处理后的数据保存到数据库中。由于 T IPS 中 使用 2类的 J DBC 驱动，所以 W AS 通过 DB 2客户端访问数据 库服务器。J DBC 是一套 J AV A语言进行数据库编程的标准 AP I。 言、应用中间件时，该问题就显加突出。本文以中国人民银 行国库信息处理系统（T IPS ）为例，对其遇到的汉字乱码问 题进行分析并提出解决方案。 T IPS 是连接征税机关、商业银行、国库、财政、海关等 各方机构全国集中的统一横向联网中心。系统采用消息中间 件 M essag e Q ueue（M Q ）＋中间件产品M essag e B roker(MB) ＋应用服务器产品 W ebsph ere Application Server(W AS )的 技术方案。各外连机构与中心系统通过 xm l报文进行通讯，报 文中规定的字符集为 G B K （常用中文字符集的范围 G B 18030 G BK G B 2312）。 T IPS 上线初期，偶尔会出现中心收到的报文中某些中文 字符变为乱码。我们从 T IPS 中与字符集相关的各个环节入手 分析出现乱码的原因，并提出解决方案。 2.TIPS —— 外连机构 1）W AS 从数据库中查询出数据，组成报文，转换为字节 表 1 最初 T IPS 中字符集的设置 一、T IPS 系统应用环境 与 T IPS 连接的外连机构在 3000家以上，使用的操作系 统、技术路线多种多样；T IPS 内部分为 M Q 外部网关、M B 、 M Q 内部网关、W AS、DB 2等多个处理环节，每个环节都有 可能导致乱码出现。经过初步分析，我们发现在 M B 纪录的 接收报文日志中并没有乱码，说明乱码很可能出现在 T IPS 后 续处理的某个环节。下面对 T IPS 中报文处理的各环节做简要 说明。报文传输过程如下。 1.外连机构—— TIPS 1）外连机构的应用将字符串转换为字节流放入 M Q 。 2）外连机构 M Q 将报文发送到 T IPS 的 M Q 外部网关。 2012-07-13）9M Q#从#M#Q #外#部#网关#收#到报文后做相应处理后再转发 ########2012-07-19######## 2012-07-19######## 相关项 值 备注 DB2所在操作系统的字符集 GB18030 DB2客户端使用的语言包 自动选择 MB\MQ所在操作系统的字符集 GB18030 W AS 操作系统字符集 IBM -eucCN Chinese (Simplified EU C) [zh_CN] 最初工程师解释说该字 符集对应的是 GBK ,后 来发现此字符集相当于 GB2312 所有MQ 队列管理器的CCSID 819(相当于 ISO8859-1) W AS 中 J ava虚拟机启动参数 指定的字符集 GBK DB2建库指定的字符集 GBK 发送报文时将字符串转换为字 节流指定的字符集（以上 A1和 B1环节） GBK 同时为 TIPS 报文规范 中规定的字符集 ESB 在进行报文处理之前，将字 节流转换为字符串指定的字符 集（以上 A3和 B2环节） GBK W AS 中收到 B y tesM essag e 将 字节流转换为字符串指定的字 符集(以上 A4环节) 未指定 默认使用 JVM 启动参 数中指定的字符集  2012-07-19############2012-07-19####2#0#1#2#-07-技1术9#与#应##用#### 流放入 M Q 内部网关。 2）M B 将报文路由到指定外部机构的 M Q 队列。 3）外连机构的应用从 M Q 队列中取出报文转换为字符串 进行解析。 最初 T IPS 中各个环节关于字符集的设置见表 1。 表 2 修改后的系统设置表 二、问题分析 1.W AS 解析报文乱码问题 现象：当报文中出现某些字符时（这些字符的特点为 G B K 字符集中存在，而 G B 2312字符集中不存在的字符，例 如 等），W AS 解析后 出现乱码，应用不能正常处理。表现为验签失败；写入数 据库中仍为乱码；从数据库中取出数据