方胜山-一卡多号系统业务中断排障报告方胜山-一卡多号系统业务中断排障报告.pdf

一卡多号系统业务中断 排障报告 华胜天成.方胜山 2014.5.13 1 12 第 页 共 页 1 故障背景 2014年5月12日下午1点半左右接到通知，一卡多号系统业 务中断。现场工程师（IDC盈科及一卡多号系统维护工程师张亮） 正在努力排查原因。华胜天成工程师作为技术支持赶到现场参与 排障和定位。在去现场的路上（14:20左右 ），接到现场盈科工 程师电话 ，反馈通过将一卡多号主防火墙掉电方式 ，业务已经恢 复。 2 12 第 页 共 页 2 系统拓扑 简要说明： 1.华三S5500-EI-D交换机属于IDC链接一卡多号系统的边缘设 备，一卡多号及其他一些业务系统通过二层vlan透传方式接入 到IDC防火墙上； 2.华三交换机的G1/0/10口和一卡多号的G0/0互联； 3.一卡多号两台防火墙之间做了基于 lan模式的failover配置 （高可靠性的一种技术实现方式，正常情况下只有主机承载业 务。备机完全同步主机的会话session和配置），相关接口如图 ； 3 12 第 页 共 页 3 排障过程 3.1 抓取各设备上的必要信息 包括诊断信息，日志信息，配置信息等几个部分（详见附件）。 由于一卡多号的主防火墙在我们到达现场之前已经掉电，掉电之 前的详细日志及诊断信息已经丢失无法获取。只能收取加电以后 的配置及日志信息进行分析。 3.2 IDC防火墙信息诊断 依次查看收取到的设备信息，从IDC的防火墙日志信息中可以 看到在不断地的提示一卡多号防火墙ARP超时删除信息 ，如下 ： 2014-05-10 14:06:01BJCHP-PS-7F-FW01~(M) 通 告 BJCHP-PS-7F-FW01~(M)NET: ARP entry 221.179.221.41 0000.0000.0000isdeletedfortimeout 通过查看配置，可以初步排除IDC防火墙的问题，并且显示超 时的信息 ，只涉及到一卡多号防火墙及充当二层透传链路的华三 交换机。因此逐步开始排查这两个设备。 3.3 华三交换机故障诊断 通过查看，确认华三交换机通过G1/0/10口和一卡多号的防 4 12 第 页 共 页 火墙G0/0口相连，并且了解到华三交换机在周五下午4点左右 进行过版本升级并存在重启操作。通过查看华三交换机的诊断信 息，可以看到交换机重启以后，除G1/0/10口以外的其他接口 都明确的记录了由down状态转为up状态的时间。说明该接口 在升级完成重启的过程后 ，一直处于down状态。导致了交换机 和一卡多号防火墙的链路中断。 通过调取监控服务器上的报表信息 ，可以很明显的看出 ，大概 升级完成后，该接口的流量处于归零状态，如下图所示。 由此可以断定，该接口从升级后处于down状态 ，导致了业务的 5 12 第 页 共 页 中断。 为此，查看交换机升级后现有软件版本及bootrom版本 ，同 华三官方给出的升级手机说明进行对比 ，发现这两台交换机主软 件版本已经升级到预期版本 ，但是bootrom版本和官方要求还 存在出入。如下图 图1H3C官方升级文档要求和主版本匹配的bootrom版本为 710以上 图2 华三交换机升级后的软件版本及bootrom版本 6 12