某银行某系统WebSphere服务报告线程挂起.doc

某银行某系统WebSphere服务报告

软件实验室服务(SoftwareLabService)

IBM中国软件开发中心(IBMChinaSoftwareDevelopmentLab)

?CopyrightInternationalBusinessMachinesCorporation,DATE\@yyyy2024.

2009年3月

问题现象

某系统于09年3月19日9:27:06左右产生线程挂起现象，并且

问题影响

长时间处理的事务导致线程挂起进而导致应用程序不能正常工作。

问题状态进展

已经定位是由于应用程序某个业务执行了超过10分钟，导致执行此业务的某些线程被挂起，进而影响系统的处理能力。

问题分析

根据系统监测，发现FMIS系统于3月19号9点25分左右出现服务器反应缓慢，多个SERVER监控报警。

通过日志排查，发现在3月19号9点27分出现线程挂起现象，日志如下：

[09-3-199:24:06:232GMT+08:00]0000000fThreadMonitorWWSVR0605W:线程“WorkManager.TDATA_BUSINESS_DATA_B_Executor:0”

[09-3-199:24:06:517GMT+08:00]0000000fThreadMonitorWWSVR0605W:线程“WorkManager.TDATA_BUSINESS_DATA_B_Executor:3”

我们可以看到，这两个线程各执行了超过10分钟，超过WAS设定的线程执行时间，被WAS挂起。

进一步对3月17日至3月19日的日志进行排查，发现C1A1S1服务器仅在这两天就有超过115个线程执行时间超过10分钟以上，这些不被控制的业务很容易招致系统反应缓慢甚至系统宕机。

当时在系统缓慢时，我们通过kill-3pid生成的javacore可以看到：

WorkManager.TDATA_BUSINESS_DATA_B_Executor:3

此线程还在继续工作，但它已经执行了超出10多分钟的时间，超出了WAS的线程执行时间，导致被挂起。

通过javacore我们可以看到，此号线程正在执行如下操作：

3XMTHREADINFOWorkManager.TDATA_BUSINESS_DATA_B_Executor:3(TID:0x807D5648,sys_thread_t:0x42608EA8,state:R,nativeID:0x55DD)prio=5

4XESTACKTRACEat.SocketInputStream.socketRead0(NativeMethod)

4XESTACKTRACEat.SocketInputStream.read(SocketInputStream.java(CompiledCode))

4XESTACKTRACEatcom.ibm.db2.jcc.a.hb.b(hb.java(CompiledCode))

4XESTACKTRACEatcom.ibm.db2.jcc.a.hb.c(hb.java(CompiledCode))

4XESTACKTRACEatcom.ibm.db2.jcc.a.hb.c(hb.java(CompiledCode))

4XESTACKTRACEatcom.ibm.db2.jcc.a.hb.v(hb.java(CompiledCode))

4XESTACKTRACEatcom.ibm.db2.jcc.a.kb.b(kb.java(CompiledCode))

4XESTACKTRACEatcom.ibm.db2.jcc.a.w.b(w.java(CompiledCode))

4XESTACKTRACEatcom.ibm.db2.jcc.a.dc.e(dc.java(CompiledCode))

4XESTACKTRACEatcom.ibm.db2.jcc.c.ig.m(ig.java(CompiledCode))

4XESTACKTRACEatcom.ibm.db2.jcc.c.ig.a(ig.java(CompiledCode))

4XESTACKTRACEatcom.ibm.db2.jcc.c.ig.e(ig.java(CompiledCode))

4X