疑难故障解决实例.ppt

目录 ping大包丢包故障 在线视频不定时异常中断故障 ping大包丢包故障 故障环境 故障现象 故障分析 故障解决 技巧小结 故障环境 故障现象 Ping大包丢包严重 ping小包正常 前期使用单机ping大包未出现丢包现象 故障前期简单分析 链路测试、策略检查均无异常，该故障非一般连通性故障 此类丢包问题，主要是需要定位出丢包的位置 可能故障点主要有： 故障分析-分析方法 数据包分析法 故障分析过程-选取抓包故障点 故障分析过程-重现故障 在测试机器6上使用如下命令测试网络的大包传输情况：ping -l 10000 –t 。 我们可以简单计算一下ping10000字节的大包在以太网中会被分成多少个分片： PING产生的IP负载=10000(ping负载）+8（icmp头长度） 一个以太网IP包的最大有效负载=1500（以太网MTU)-20（IP包头长度）=1480B 产生IP分片数的计算方式为： 10008/1480=6余1128，即一个1500B的icmp报文，5个1500B的ip分片包，1个1148B的ip分片包 故障分析过程-抓包 我们分别在核心交换机6509、接入交换机上做端口镜像（端口镜像的详细命令和过程在此不再描述），将其相应链路的数据包镜像到我们选取的监听口，我们再通过科来网络分析系统捕获相应的数据包 故障分析过程-对比分析 接入交换机数据包分析结论 故障分析过程-对比分析 对比分析结果 故障解决 使用替换法，将接入交换机端的光电转换器更换为一个全新的光电转换器，测试一切正常 技巧小结 定位可能故障点 数据包分析法 对比分析法 使用到的知识点： 分片计算 icmp重组超时 在线视频不定时异常中断 故障环境 故障现象 故障分析 故障解决 技巧小结 故障环境 故障现象 客户端通过浏览器在线观看VOD视频时，不定时（有时几分钟、有时十几分钟，没有规律）的出现中断情况。 使用ping命令长时间测试VOD服务器的连通性，一直正常。 异常时，VOD服务器的web页面访问正常 前期简单分析 Ping命令测试正常，说明不存在连通性问题 不定时出现、无规律性说明应该不是策略（时间控制等）原因导致的 其他应用未反应异常 客户端抓包分析可能原因 TCP选项解码 服务器端抓包确认问题原因 可能故障点 抓包分析定位故障点 捕包工作的开展 对比分析 对比分析 定位IPS异常丢包 验证 技巧小结 数据包分析法 对比分析法 利用第三方产品抓包 使用到的知识点 通过SACK和TCP序列号定位丢失的数据包 通过IP标识判断同一数据包 总结 * * 说明： 1、办公机器都属于/24网段； 2、办公机器通过一个二层的接入交换机、光电转换器接入 集团核心交换机。 连接拓扑： 对比分析法 在此次的故障解决过程中，我们主要使用对比分析法分析 出将大数据包丢弃的中间设备或链路。 主要通过专有的网络分析工具（科来网络分析系统）将故障 时相应的数据包捕获下来进行深度分析，并通过分析发现相 应的异常，从而定位故障原因的方法 主要指通过对网络中传输的数据包的对比，分析出数据包在 传输过程中各个中间设备对数据包的相应处理过程，包括更 改、丢弃和转发等 在实际的分析过程中，我们需要考虑到抓包的方便性和相 应中间设备的功能特性选取数据包捕获点 在这个故障环境下，我们主要选在接入交换机与核心交换 机上抓取数据包 通过该测试命令重现了故障现象：大文件传输丢包情况较为严重。 1.分析接入交换机上抓取的数据包 1个1500字节icmp包 5个1500字节ip分片包 1个1148字节ip分片包 Ping超时的原因为中间某个大包在传输的过程中 被丢弃了，导致接收端重组超时 接入交换机转发了所有的分片包，即某个分片包不 是在接入交换机上丢弃的 1个1500字节icmp包 4个1500字节ip分片包 2.分析核心交换机6509上抓取的数据包 1个1148字节ip分片包 结论： 这个被丢弃的某个分片在到达核心交换机6509前就 被丢弃 根据前面的对比分析，结合拓扑结构，我们可以知道，某个 分片包是在接入交交换机转发之后、核心交换机6509接收之 前被丢弃的，那么可能被丢弃的位置只剩下光电转换器了！ 故障拓扑： 说明： 1.VOD在线视频是通过web页面观看的，通 讯流全部使用HTTP的80端口传输数据 2.客户端与服务器是纯路由环境下完成数据 交互的 通过简单分析，没有什么明显的突破口，此类故 障应属于较高层次的故障，只能借助科来抓包分析 来找突破口了 首先在客户端在线视频时，开启科来抓包，在故障出现后停止抓包，并分析 故障时间段的数据包，看能否找到一