erlang开发实践淘宝核心系统资深专家余锋.pptx

Erlang开发实践淘宝核心系统资深专家 余锋/@淘宝褚霸2013-05-25平台架构工程实践讨论UMP整体架构UMP核心挑战平台对外保持单一入口，对内维护单一的资源池。保证服务的高可用性，消除单点故障保证系统是弹性可伸缩的，可以动态的增加、删减计算与存储节点。保证分配给用户的资源也是弹性可伸缩的，资源之间相互隔离。UMP经验开放的平台，方便用户扩展采用开放成熟的第三方部件的好处热部署和升级对不停机维护的意义容错系统设计的重要性为什么要用Erlang实现高并发、高性能、集群易扩展时间检验的高可靠强大的管理功能，方便的问题定位支持强大的交互性，与其他系统整合能力Erlang独特的世界观世界是并行的万物皆独善其身万物皆通讯天有不测风云UMP内部组件图平台架构工程实践讨论设计哲学小而美细节是魔鬼fail fast三高HIGH cost performanceHIGH ReliabilityHIGH Scalability设计—典型三层实现三化rebar化application化插件化代码组织api化rpc松散化接口平民化代码质量警告零容忍dialyzertidier实现—功臣实现—rebar化$ ls -l deps/ump_controller/includeprivREADME.mdrebarrebar.configsrcTHANKS…实现—以app为单位扁平组织$ tree -L 1 depsdeps├── …├── ump├── ump_agent├── ump_alarm├── ump_bs├── ump_freakout├── ump_la├── ump_tc└──...实现—功能api化$ ls -al deps/ump_controller/src...ump_instance_job.erlump_job_clone.erlump_job_delete_share_user.erlump_metastore.erlump_metastore_instance.erlump_mnesia_monitor.erlump_monitor_node_api.erlump_monitor_resource_api.erl实现—rpc化$ cat ump_diag_nodes.erl …get_nodes() - case ump_diag_rpc:call(ump_monitor_node_api, registered_node, []) of {badrpc, _Reason} - []; Nodes - Nodes end.实现—Makefile最小化$ cat deps/ump_diag/Makefile all: compile escriptizecompile: ./rebar get-deps compileescriptize: ./rebar escriptize实现—dialyzer警告零容忍$ dialyzer ebin Checking whether the PLT /home/chuba/.dialyzer_plt is up-to-date... yes Proceeding with analysis... done in 0m5.67sdone (passed successfully)部署reltool 和 release_handler = 打包和热部署ssh/sftp = 安装和升级包传递ump_bootstrap =大规模自动部署测试白盒 = eunit 覆盖率 = cover黑盒 = common test压力测试 = tsungapimysqlconsole诊断VM层面信息 = observercrashdumpetop业务信息= console/portal主动诊断 = ump_diagnostic主动破坏 = ump_freakout运维热更新 = 不停机snmp监控 = 方便对接现有监控系统节点管理 = 随时添加、移除、启停结点 集群安全 = 审计调优消息流动 = dbg函数级别 = eprof驱动层面 = dtrace锁竞争 = lcnt角色协作 = percept平台架构工程实践讨论存在问题集群规模和安全mnesia brain split节点间rpc通道压力小众语言讨论时间@淘宝褚霸谢谢大家！备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面备用-Portal界面