某银行WebSphere服务报告高CPU问题.doc

某银行WebSphere服务报告

软件实验室服务(SoftwareLabService)

IBM中国软件开发中心(IBMChinaSoftwareDevelopmentLab)

?CopyrightInternationalBusinessMachinesCorporation,DATE\@yyyy2024.

2009年3月

问题现象

根据信息中心的系统监控人员描述，3月5日上午应用服务器中间件WebSphereApplicationServer集群中一个server(C2

问题影响

其中一个WASAPPSERVER对CPU的占用率在60%以上，并且当没有业务或很少的业务操作时，CPU使用率保持在40%--50%附近并没有递减。

问题状态进展

根据系统出现问题时kill-3方式杀出的一些Javacore及收集到的当时系统信息可以得出结论：CPU的持续消耗是由应用引起的（com.cfcc.fism.service.report.impl.ReportTaskMgrServiceImpl.createReportDataToDBNew），物理内存相对较小及大对象的操作导致了GC的频率高

问题分析

WASServer(C2A

通过与系统维护人员进行讨论以及对系统性能监控图形的分析，其中一个WASAPPSERVER(C2A3)对CPU的占用率在60%以上，并且当没有业务或很少的业务操作时，CPU使用率保持在40%--50%附近并没有递减，此现象持续了半个月左右。

执行dbxtrace.sh收集到当时系统运行信息：

f文件中我们可以看到WAS的java进程占当时CPU使用率的34.06%，再进一步看WAS进程中的线程情况，其中线程ID为2220199、1359951的两个线程分别占CPU使用率的12.27%和11.79%，这两个线程是WAS进程中耗费CPU资源最高的两个，详细信息如下：

ProcessFreqTotalKernelUserSharedOther

=====================================

wait865.6965.690.000.000.00

/usr/java14/jre/bin/java5834.060.930.0014.1918.94

PatrolAgent10.070.010.030.030.00

swapper20.060.060.000.000.00

gil40.040.040.000.000.00

/usr/sbin/syncd30.020.020.000.000.00

/usr/bin/tprof10.020.000.000.010.00

/usr/sbin/getty10.010.010.000.000.00

/usr/bin/ksh30.010.010.000.000.00

PID62285410.010.010.000.000.00

bgscollect10.000.000.000.000.00

dcm10.000.000.000.000.00

/usr/bin/sh10.000