系统上线不再救火!SQL优化与SQL审核最佳实践.pdf

系统上线不再救火 ！ SQL优化与SQL审核最佳实践 罗海雄 Haixiong.luo@ Who Am I ? 罗海雄(网名RollingPig) 云和恩墨 -- 性能优化总监 2011 全国SQL大赛冠军得主 2011 ITPUB全国SQL大赛冠军得主 ， 资深的架构师和性能优化专家。曾 经服务于甲骨文公司亚太区开发者 计划部门和大型制造企业中芯国际 ， 从开发到性能管理 ，有超过10年的 企业级系统设计和优化经验。   一次有意思的优化经历   开发质量管理-SQL审核 双十一 ，快递量高达5亿 某快递BI系统 •  统计全国主要快递企业快件相关信息 •  主要处理过程之一 ，每4个小时把新增的快递单数据 merge到历史数据中   如果存在同样的快递单号 ，就把历史表的信息更新为新增的信息   如果不存在同样的快递单号 ，就把新增的信息插入历史表 •  历史表 ：   按时间分区   保留15天数据 存在性能问题 ，   最大单分区记录通常为几亿到十几亿 普通单次处理   最大单分区20-50G 需要2个小时 ， •  新增快递单表 无法应对购物 高峰   几百万到几千万条记录   最大分区2-5G Merge语句 统计分析系统常见的Merge语句 ： MERGE INTO XX_XXXX_LSKJ A USING (select * from XX_XXXX_CLKJ where biz_date to_date( edate,YYYYMMDD HH24) and biz_date to_date( bdate,YYYYMMDD HH24) ) B ON (A.ENTERPRISE_CODE = B.ENTERPRISE_CODE AND A.MAIL_NO = B.MAIL_NO) WHEN MATCHED THEN UPDATE SET A.MAIL_TYPE = NVL(A.MAIL_TYPE, B.MAIL_TYPE), A.WEIGHT = NVL(A.WEIGHT, B.WEIGHT), ...几十个 columns...) WHEN NOT MATCHED THEN INSERT (A.ENTERPRISE_CODE, A.MAIL_NO, A.MAIL_TYPE, ...几十个 columns...) VALUES(B.ENTERPRISE_CODE, B.MAIL_NO, B.MAIL_TYPE,...几十个 columns...); 执行计划 Oracle的Hash Join Hash Join的过程 ： 1. 读取驱动表(新增数据表 ）. 2. 对相应列（mail_no)建立hash bucket. 3. PGA内存足够时 ，把所有hash bucket放 在内存中, 匹配被驱动表（历史表 ）数据. 4. PGA内存不足时 ，需要把部分hash bucket放在内存中