20110419068 简析因突然断电引起的HIS系统客户端不能登录故障案例得到的一点启示.pdfVIP

简析因突然断电引起的HIS 系统客户端不能登录故障案例得 到的一点启示 ① ① 李立杰 邢江 ①河北省人民医院信息管理处，050051，石家庄市和平西路348 号 随着科学技术的飞速发展，信息化硬件设备更新也日新月异不断推陈出新， 广大使用者为确保工作的稳定性，不断追求硬件设备产品的高端化成为一种风 气，但由于用户对设备性能的了解和掌握的不全面，往往片面追求提升硬件性能 而忽视硬件设备之间的匹配性、以及相应操作系统和数据库系统的作用，致使硬 件设备的性不能得到发挥。 本文介绍解决医院HIS 系统因突然断电引起的客户端登录故障案例，阐述硬 件设备与相关操作软件系统的匹配性对设备性能的提升有至关重要的作用，以供 同行参考。 1 故障案例情况介绍 医院为配合HIS 系统的升级于2008 年初购置了两台HP rx3600， （Two 1.4 GHz 12 MB CPU， 16GB(16x1GB)PC2-4200 R Memory，物理内存与 swap 分配比 例为1:1）；通过两台HP StorageWorks 4/16 SAN Switch 和一台HP MSA1500 Ctlr 256 Cache ALL 磁盘阵列实现服务器的双机热备。操作系统使用HP-UX B.11.23 U ia64 unlimited-user license,和oracle9i 数据库实现后台数据管理。以保障 全院500 多个HIS 系统终端用户并网运行。设备安装后整个系统运行正常，系统 资源情况一切正常，因一次全院大面积停电事故，引发出现很多的用户不能登录 程序并提示内存不足，察看数据库环境变量、系统日志和文件系统空间都没有问 题，登录后检查数据库的侦听进程还在，检查lsnrctl status 的状态也是正常。 但数据库后台有大量死进程，通过#swapinfo -atm 查看 swap 使用情况，发现 total 值及交换分区使用率为99%，memory 值及伪交换(Pseudo swap)为97%的 故障。重新启动监听，故障依旧。此时，原来已连接上服务器的用户还能正常使 用。查看此时session 达到650 多个。重启oracle 服务后，能连接新的用户数。 但之后普遍在医院大面积停电后出现同类问题。 2 故障案例问题分析 由于断电程序被非正常关闭,导致对数据库的连接也没有关闭,造成数据库 有很多死进程，客户端重新登录时发生连接数不足的错误，经过查看是断电前的 连接都还在，Oracle没有自动清除这些死进程，导致新的进程无法建立，最后重 启数据库问题解决。但随着断电次数的增多，重启数据库后发现不能完全解决此 类问题，此时查看swap使用情况，发现total值为98%，memory 值为99%。 经分析HP-UX使用 Virtual Memory 将进程加载到内存中，Virtual Memory 由两部分组成，物理内存(RAM) 和 swap。物理内存是程序运行所在的位置，swap 是 交换。Swap 设备通常属于物理硬件驱动器。如果系统上没有配置足够的 swap，系统无法访问系统上安装的所有物理内存。只有在 Swap 区域的可用空间 多到可用于进程的情况下，Kernel 才允许产生进程。应用程序也依赖于 swap， 如果没有配置足够的 swap，则生成与内存相关的错误消息，如达到进程数上限, 没有足够空间给一个新进程分配。对于HP- UX的机器，每申请一部分物理内存， 系统就要在swap空间再划一块对应的空间用于pseudo swap （伪交换）。通过#top， 观察RES 值，一个Oracle连接相应的后台进程占用8Mb内存左右；每次断电后虽 然重启数据库kill掉了数据库死进程，但操作系统分配给用户的交换分区中的相 关数据进程并没有释放，而是随着断电次数的增加，最终交换分区被耗尽而系统 崩溃，使客户端不能登录程序。此情况下把服务切换到备用服务器，问题解决； 观察备用服务器交换分区使用率在50%，重启主服务器，观察其交换分区使用情 况由99%降至17%。此时通过#vmstat 1 20观察系统状态， CPU空闲率为70%，page 项的pi 、po值为0，不存在内存瓶颈问题。通过#sar –u 1 20观察用