V6关键的典型问题排查流程---王剑鑫.docxVIP

内部公开InternalUseOnly▲

PAGE

第PAGE12页

以上所有信息均为中兴通讯股份有限公司所有，不得外传

AllRightsreserved,NoSpreadingabroadwithoutPermissionofZTE

V6关键的典型问题排查流程

数据拥塞丢失问题

数据拥塞丢失问题的排查总体方向是从后往前排查(从数据库入库开始向前端排查)，前端的的数据拥塞丢失可能是后端的数据拥塞丢失导致的。

检查数据库服务器入库是否有堵塞：

先查看数据是否有异常，通过iqproxy_assit.log里面的ERROR可以看到，请先查看环境变量、sybase接口配置等问题；

时隔5分钟多次使用df–k命令查看磁盘剩余空间是否持续在增长，如果持续在增长说明数据有堵塞；另一种验证方式是用selectmax(etime)fromdr_xxx、selectmax(sttime)fromst_xxx看cdr和统计结果必威体育精装版的入库时间和当前时间的偏差；

排查网卡是否错误设置为百兆网卡（要求为千兆）；

排查网络带宽不够的问题，可使用ftp工具进行验证真实的带宽，如果带宽确实不够，需要协调用户解决带宽资源；

排查网络不稳定的问题，网络本身存在丢包、抖动、阻塞等情况，需要协调用户解决网络问题。另外，在有些地方还发现，对于使用内外网两套地址段的情况，如果都直接使用映射的外网地址段可能导致网络不稳定的情况；

使用iostat命令查看磁盘io是否过于繁忙。如果io过于繁忙而发生堵塞：

首先按照配置指导书的模型查看内存和磁阵的配置是否满足要求，并实地测试磁阵的io性能，如果服务器内存io不满足要求，需要进行分流按地市进行分流；

如果服务器的内存io满足配置模型的要求还堵塞，可以考虑调优iqproxy.ini的参数。可以增加MAXFILE到300，MINLOADSIZE到5M或者10M的数值，MAXLOADINTERV调整到600或者1200，这些调整目的都是尽量让入库文件集中入库，避免过多的小文件入库。如果调整还是不行，最后一招就是1分钟的统计结果不入库，当然这个要看以前用户有没有查询1分钟统计粒度的要求(一般都没有)。

如果io占用不大还堵塞：

首先按照配置指导书的模型查看服务器的CPU核数及其主频是否满足要求，如果不满足，只能加CPU或者分流按地市进行分流；

如果服务器的CPU核数及其主频满足要求还堵塞，可以尝试调优iqproxy.ini的参数，将POOLSIZE的数值提高，先提高到及其核数/4，然后逐步调高。这个会提升入库效率，但同时也会导致IO占用增大最终影响查询性能，所以有一个临界点需要现场总体上自行把握。

排查时间同步是否有问题，对于有2046年之类这样的数据将极大影响入库的性能；

检查NSR服务器是否有拥塞；

首先排除NSR服务器上的cdrdispatch有没有发送失败的情况（注意这里说NSR服务器并不仅仅指nsr程序本身，而是包括其相关的cdrdispatch，后面的NSR_EX、BcpDataFile等都是一样，不再说明这一点），如果有发送失败一般是NSR处理不过来或者是后端模块(比如kpidatasvr或对外接口或入库程序)堵塞注意kpidatasvr的pipeline_kpidata.xml里面FiltrateFlag要设置为1，否则kpidatasvr内存很快占满进而拥塞向前传递；

使用nsrtask，输入nsr的服务器地址及6008端口，查看低优先级的1min粒度的统计是否能在50s以下处理完成，以及必威体育精装版正在处理的低优先级的1min粒度的是否接近当前时间(延迟3分钟以下可认为正常)；

排查网卡是否错误设置为百兆网卡（要求为千兆）；

排查网络带宽不够的问题，可使用ftp工具进行验证真实的带宽，如果带宽确实不够，需要协调用户解决带宽资源；

排查网络不稳定的问题，网络本身存在丢包、抖动、阻塞等情况，需要协调用户解决网络问题。另外，在有些地方还发现，对于使用内外网两套地址段的情况，如果都直接使用映射的外网地址段可能导致网络不稳定的情况；

排查数据流有无环路，有环路时会出现一个cdr多次入库的情况；

查看cpu核数和主频是否满足配置指导书要求；

查看内存是否不足，可用free命令看(top里的free并不是全部的物理内存的剩余值)，同时看看vmstat5命令看是否有大量的内存页和磁盘交换。如果内存不足，需要补充内存；

排查时间同步是否有问题，对于有2046年之类这样的数据将极大影响nsr的性能；

如果nsr处理不过来，一般要进行分流处理—按地市进行分流。如果某台服务器的CPU、内存、IO资源还剩