故障复盘报告.pdf

***误用**部署安装故障事件复盘

项目名称XX项目

项目背景***是属于有定制化需求的交付企业，为了更好的提供定制

化版本，**系统为**客户建了定制化的研发流程。当前使用了定

制化研发流程的企业，除了**客户还有**系统安装包也在使用。

***一期的研发中间穿插了国庆假期，时间线跨度比较长。

故障现象交付人员部署了新的**系统管理端后台，并且后台配置了客

户端自动升级。交付人员收到反馈说mac客户端安装后变成了带

**系统安装包字样的版本17:28，研发侧负责人收到反馈，然后

立即联系了相关研发人员，先根据已有信息和情况，做初步分

析。通过安装包信息和本地搭建环境做测试验证，知道了问题是

因为交付包带的mac客户端是**系统安装包版本导致。然后讨论

决定，先看怎么解决问题，避免影响。

故障及时响应收到该事件之后我司非常重视，从昨天下午5点开始，累计

投入该事件处理参与人10人（包括架构侧2人，售后侧1人，

研发侧7人（客户端3人，后台2人，web2人），测试侧3

人）

故障出现10分钟内拉通现场交付、研发、前线等人员一起

讨论后，走软件推送和域推难以实现，所以考虑还是走重新部署

方式。因为**系统安装包定制版覆盖安装**客户版本后，环境存

在异常，不能直接用**客户新版本覆盖，可能存在问题。所以推

送的安装包需要紧急开发清理逻辑，保证安装后无任何异常，能

正常使用。所以研发侧讨论后，确定了立即开发覆盖安装清理的

方案，然后当晚出更新包，第二天一早过p0和覆盖安装场景测

试，测试通过后中午给到现场交付新的**客户安装包。

故障可能影响与

1、现在**系统安装包启用的是双因子认证（账号+token），昨晚

解决方案

11点**系统安装包变更过一次防火墙策略，允许全部终端（这里

会导致刚开始**客户链接**系统安装包不一定是成功的）

2、密码从终端到后台，是全程加密的，而且不会记录账号密码

3、**系统安装包会到给我们一批用户，这批用户名，校验请求的

用户名是否在这个列表里面，如果在里面，则请求**系统安装包，

则返回失败

4、***的全是英文名，所以这个账号肯定是不存在的，也就是不会

送检给**系统安装包的认证服务器

5、关于账号不存在和密码错误的提示：

登陆机制：

a、安装了**系统安装包的包之后，默认主服务器是链接的是

**系统安装包，但是登陆策略服务器依旧原来**客户的服务器，这

个时候发起验证请求依旧是**客户

b、终端会拉取策略，拉取新的策略之后，认证会采用**系统

后台在**系统安装包的认证