1,湖北省公司某客户MSTP电路LCAS故障处理分析-V2杨慧丽.docx

湖北省公司某客户MSTP电路LCAS故障处理分析案例——湖北武汉联通集团客户响应中心杨慧丽一、故障现象湖北省武汉某客户（某银行）某日至湖北省黄冈MSTP电路不通。二、故障情况分析湖北省武汉某银行至黄冈的电路承载于烽火780，该设备端口是武汉某银行到各个地市电路的光路汇聚端口，承载了多条业务，此次故障发生后，武汉传输网管查看到黄冈方向有告警。经黄冈传输网管向武汉方向打环，武汉可以收到环，排除线路故障。武汉某银行拓扑图经排查发现，当黄冈本地格力威尔MSTP与武汉烽火780设备在双方开启LCAS协议并且双方设备光路为连接状态时，当格林威尔设备发生掉电或VCG重启，会引起烽火LCAS出现异常，从而出现双方握手不成功情况，此为发生业务中断的主要原因。对于此种情况，湖北省公司要求烽火和格林威尔公司进行分析排查，并彻底解决问题。三、故障排查及处理过程（一）第一步：根据测试数据查找LCAS握手不成功原因。实现方案：搭建测试平台，模拟现场测试环境（烽火以太网盘与格林威尔MSAP对开通业务，并开启LCAS功能）；按照测试方案连接设备，如图所示：780A与格林威尔MSAP设备通过155光口开通以太网业务，同时开启两块单盘的LCAS功能。为便于定位问题，只在WAN口配置一个VC12，并开启烽火以太网软件中LCAS模块的调试开关。确认业务正常，检查单盘LCAS状态正常。1．重复100次现场测试项目，记录测试结果；按照测试内容：“验证双方在LCAS运行正常情况下，遇到掉电情况时，业务运行状态和LCAS握手状态”以及“验证在传输通道发生重启时，业务运行状态和LCAS运行状态”进行测试，测试结果为：当对端格林威尔设备掉电重启后，业务中断。查看WAN口成员状态不正确，如下图所示：单盘底层调试打印的信息如下：2.以主网分析仪记录测试中出现异常时的信息并进行综合分析；对底层打印的调试分析发现：当格林威尔设备重启后，烽火单盘LCAS宿端状态机接收到的控制字也有相应变化，从FIX变为EOS（只建立一个VC12），此时宿端会根据接收到的控制对成员状态MST 进行调整，MST = 0为OK。调试信息显示宿端返回成员状态为MST = 1，为Fail。对端格林威尔设备收到MST = 1，认为链路有故障，重新调整发送控制字为DNU，烽火单盘接收控制字也从EOS变为DNU，并且一直回送MST = 1。3.根据测试分析结果，检查软件代码，查找问题原因；LCAS协议规定，在VCG宿端，所用成员初始化时均报告MST = Fail，当某个成员带有控制字段为ADD（或NORM或在其添加后发送EOS,或网络故障恢复后发送DNU）的控制包收到时，成员状态将产生MST = OK的转变。烽火以太网盘LCAS的工作机制是：开启LCAS时，VCG通道所有成员控制字都为IDLE，然后再逐个添加VCG成员。首先，源端发控制字ADD，宿端接收到ADD请求命令后返回成员状态，若源端收到MST = OK，再调整成员控制字为NORM或EOS，改变成员SQ号，直至握手成功。与格林威尔设备对接测试时，对端设备上电后，烽火以太网盘未收到请求成员添加的ADD控制字，而是直接收到了EOS，导致烽火以太网盘LCAS状态机判断错误，导致异常。在此情况下， LCAS宿端状态机应回送MST = 0，但是实际工作时却回送的是MST = 1，导致后续LCAS状态机成员控制字迁徙错误，这即双方设备握手不成功原因所在。（二）第二步：根据第一步查找的原因进行代码修改及验证。实现方案：烽火研发人员根据解决方案对以太网盘软件进行优化；针对问题原因，对以太网盘的软件代码进行修改，在对端设备重启LCAS的情况下，即单盘LCAS宿端状态机接收控制字从FIX转变到其他时（除IDLE），将成员状态MST设置为OK。协调格林威尔研发人员对MSAP设备进行优化；对现有LCAS工作机制进行优化，在设备重启后，与对端设备握手协商时，源端状态机添加成员时先发送ADD请求。在设备掉电重启后，先初始化以太网部分功能，再开启设备激光器。（三）第三步：修改代码及验证完毕后，提供软件现场参与第三方测试。实现方案：对设备完成新软件的升级，按照“测试内容”的所有测试项目再次进行测试。四、解决问题经协调，烽火与格林威尔厂家各自提供针对优化LCAS握手功能的新版软件。本次烽火提供两块机盘与格林威尔测试，机盘硬件一致，软件分别为RP0106和RP0108。格林威尔提供一台设备进行软件升降级测试。厂家现有版本测试提供的新版本烽火RP0106RP0108格林威尔MSTPE6080PTPV3R0C2B7SP33MSTPE6080PTPV3R0C2B7SP36烽火现有版本：烽火测试新版本：依据测试内容：“验证双方在LCAS运行正常情况下，遇到掉电情况时，业务运行状态和LCAS握手状态”以及“