阿里数据库团队PostgreSQL实践.pptx

阿里数据库团队PostgreSQL实践杨洋洋(阳帅)yang_yang8708@163.com阿里巴巴数据库团队提纲IDB产品介绍PostgreSQL实践原因实践步骤实践总结淘宝1688支付宝余额宝高德地图阿里云菜鸟物流天猫速卖通口碑芝麻信用UC钉钉…用户服务层数据库服务平台(iDB)资源申请数据访问开发设计分库分表SQL审核生产变更权限管控流程管控基础技术层AliSQLOceanBasePostgreSQLMongoDBOracleSQLServer……运维组件层…监控告警HA性能压测自动化调度备份恢复元数据安装配置数据质量安全审计IDB 定位IDB是数据库团队自主研发的一个数据库服务产品，是集团去O的重要实施平台。先后实现对Oracle,MySQL,Oceanbase,SqlServer,PostgreSQL等数据库的查询，数据变更，结构变更的支持。并且支持分库分表的操作。2010年淘宝启动“去IOE”项目PostgreSQL实践原因IDB帮助集团实现了去O，但是自己还在使用Oracle。2014年底，这台Oracle服务器已经集团仅剩的几台服务器之一，需要承担高昂的License费用。去O势在必行，用什么来替换它呢？MySQL? 需要对应用和SQL做大量改造。达梦?功能与Oracle兼容，稳定性达不到要求PostgreSQL? 改造成本低，安全稳定实践步骤实践评估：可行性分析、工作量评估。制定方案：确定迁移的重点和难点，制定迁移方案。应用改造： SQL改造，代码改造。数据迁移：结构迁移，数据迁移。回归与测试：功能回归、性能测试。性能调优：针对上线后的性能问题进行分析和优化。SQL改造时间间隔Oracle时间相减得到间隔，单位为天。PG时间相减得到 interval值，需要转换为具体的时间值。Oracle中sysdate + interval xxxx unit(precision) 类型的数据，PG中用now()+ ‘时间间隔字符串’ 的方式来实现。Now() + ‘1 day’Now() + ‘14400’::interval别名设置：避免使用关键字role,data,label,type,name 作别名，或者加上as 关键字SQL改造常量参数需要进行强制类型转换，否则类型则unknown，框架无法自动解析类型。select id, ‘new’ ::varchar status from t;这样才能保证应用程序中获取到的status数据类型为String。不强制转换获取到的是Object 对象，会导致JavaBean或者DO对象的属性值设置失败。SQL改造函数替换：将Oracle部分PG不支持的函数替换为PG的等价函数。分组合并：Oracle中wm_concat(xxx)转换成PG中的string_agg(xxx,‘,’) over (partition by X oder by Y)来实现。Oracle中的regexp_replace(xxx,reg)在PG需要加上第三个参数 “,”Bitand(A,B) ：替换成运算符 , A Bsysdate： now, current_timestampNVL ： coalesceDECODE：case when then else endSQL改造Oracle Merge Into 插入或者更新的SQL改造PostgreSQL需要联合使用 with 查询, update returning, insert来进行选择性更新或者插入。with data as (select #id#::integer id,#name#::varchar name,#status#::varchar status), upsert as (update my_user dst set name=, gmt_modified=now(), status=d.status from data d where is not null and d.id=dst.id returning dst.* ) insert into my_user(id,name,status) select nextVal(seq_my_user),,d.status from data d where not exists(select 1 from my_user dst where dst.id = d.id)SQL改造整数参数传入空字符串的处理 使用 #id#::numeric时，程序传递空字符串’’作为参数，则会出现 invalid input syntax for type numeric错误需要使用to_number(#param#) （EDB）Select * from t where sta