高并发Oracle OLTP系统的故障案例分享.pdf

高并发Oracle OLTP系统的故障案例分享 Oracle RAC 高并发系统的故障诊断 Oracle LGWR核心进程log file sync竞争 Oracle 共享池library cache lock、library cache mutex x竞争 Oracle 核心业务表SQL性能衰变 Oracle LGWR核心进程log file sync竞争 数 / 据 / 驱 / 动 成 / 就 / 未 / 来 Log file sync经典图解 Oracle LGWR核心进程log file sync竞争(一) 节点1的ASH、AWR数据解读 1、AWR信息enq：TX -index contention、gc buffer busy acquire、enq：TX -allocate ITL entry等待竞 争为主 2、ASH信息enq：TX -index contention、gc buffer busy acquire、enq：TX -allocate ITL entry等待更多都被gc current request、gc current block busy等待堵塞 节点1的ASH、AWR数据解读 1、故障时段AWR的top sql相关SQL跟之前非故障时段的AWR基本一致，都是非常简单的SQL，单次逻 辑读都只有个位数 2、故障时段AWR的top blocking sessions 占据比例也不明显 节点1的性能问题概要 伴随着如下几种主要等待事件： 1、队列锁：enq：TX-Index Contention and Enq：TX-Allocate ITL entry 2、内存热块竞争：buffer busy waits 3、RAC块竞争：gc buffer busy release/acquire， gc current request ，gc cr/current block busy 从ASH查看root cause的脚本来看Holder总在变化，到底哪个等待事 件、哪个异常会话或者异常SQL导致。 Oracle RAC 数据块传输的常见等待事件 1、gc current/cr block 2-way 2、gc cr block busy和gc current block busy  3、gc current/cr grant 2-way 4、gc current grant busy 5、gc current/cr request 6、gc current/cr multi block request 7、gc current/cr block/grant congested、gc cr block lost和gc current block lost等 8、gc buffer busy acquire、gc buffer busy release 节点2的ASH和AWR数据解读 1、AWR信息log file sync等待和buffer busy waits等待竞争为主 2、ASH信息gc buffer busy release等待堵塞buffer busy waits、log file parallel write堵塞