大数据服务器技术探索与实践3.pptx

大数据服务器技术探索与实践肖德芳 mailto:defang.xdf@defang.xdf@阿里巴巴技术保障部 高级技术专家Agenda 大数据云计算对服务器挑战 天蝎整机柜服务器 天蝎在阿里的实践－alirack挑战DT时代我们需要什么样的基础设施？why rack server？挑战大容量高性能海量规模天蝎项目应景而生。。。－Green， Energy Conservation－more efficency－lower cost2.02013~2015年天蝎Roadmap完成天蝎技术规范V1.0完成天蝎V1.0整机柜的联合开发与测试小规模验证与优化1.02012年服务器资源的进一步融合引入硅光电等技术，机柜即资源计算、存储、网络资源灵活定义3.02017年完成天蝎技术规范V2.0完善子系统设计与验证规范制定相关接口规范（包括接口类型、信号、协议、API等）节点与机柜解耦，技术上实现节点的混插互换引入机柜级电池UPS天蝎整机柜服务器架构天蝎整机柜服务器管理架构统一管理PSU、FAN、Node子系统；资产自动发现与定位；PSU效率；节点功耗监控；温度监控；服务器配置信息；延迟开机；节点开、关机、重启操作；~ 更多功能参见《RMC CLI 规范》天蝎1.0 Rack主要特点模块化设计机柜模块、电源模块、散热模块、管理模块、网络模块、服务器节点；最大程度复用现有技术标准机柜尺寸、标准U等；集中电源双路输入、PSU N+N冗余、12VDC Busbar直供服务器；风扇墙散热集中共享、RMC独立控制、N+1冗余、独立维护；集中管理独立RMC，支持电源、风扇、节点的监控和管理；节点多样性节点独立设计，满足不同配置需求；134562天蝎2.0 Rack主要创新点机柜规格2100mm、2300mm两种机柜高度规格；内框尺寸充分利用内部空间，统一内框为21英寸；U高度每U的高度比标准U增加2mm，天蝎U单位（46.5mm）；机柜背板升级机柜背板功能，并实现热插拔功能；节点机柜解耦服务器节点与机柜系统解耦；散热优化散热策略，明确定义风扇的尺寸，统一为140*38规格；245631天蝎2.5 Rack机柜级BBS（电池UPS）支持双路或单路市电直供；2SU高度、宽带538mm、深度850mm， 直接安装在机柜的服务器节点空间；提供220VAC逆变输出，供TOR供电；容量2.2KWH，15分钟恢复，负载8.8KW 10分钟恢复，负载可达12KWRMC集中管理BBS电池节点混插互换完善定义TBP和RBP的PIN脚功能、电气、和通信协议；定义RMC与BMC的通信协议和命令接口；节点和整机框架解耦，支持不同厂商的节点与rack混插互换；RMC IPMI命令规范定义完整IPMI命令集，兼容CLI；可管理RMC、RBP、PSU、FAN、Node、log等231天蝎2.5 Rack机柜级电池UPSBattery Backup System供电效率的优势双路UPSUPS效率：88%*90%=76%UPS市电HVDC效率：(94%+94%*94%)/2=91%电源框HVDC双路市电直供效率：94%电源框传统UPS与天蝎BBS?传统UPS机架BBS建设空间UPS需要独立的UPS室，空间较大；高压直流需要独立的电池室或独立的电池柜；不需要独立的空间，只需利用服务器机架竖向多余空间；交付速度UPS需要进场安装接线；高压直流需要结合列头柜进行穿插接线；电池系统不需要二次接线；系统可靠性UPS一旦故障需要专业厂家售后维修，时间1~2天；故障影响面机房级别；高压直流一旦故障修为时间约为半天；故障影响面机房包间级别；机架式电源系统中PSU故障，BBS故障等只需机房运维人员进行更换插拔安装，时间约为小时级别；故障影响面机架级别；PSU可靠性标准服务器具有2个电源，实现N+N冗余；天蝎服务器具有2N冗余；机架式电源在PSU实现2（N+1）冗余下，即使市电断1路，并且PSU损坏2个，PSU+BBS依然能够保证服务器运行一段时间；电池运维按照一年为周期进行充放电测试；测试需要花费人力和时间；锂电池无记忆效应，不需要进行充放电测试；即使需要测试也只需要电脑指令进行整个测试过程；电能指标在低负载率下UPS和高压直流的效率较低，谐波性能较差；多级转换造成电能浪费；减少电能转换次数，市电直供提高电能效率；可以按照单机柜负载实际配置后备电池数量；整机柜服务器供电系统架构天蝎PSU；沿用天蝎2.0的电源，实现高效率电能转换；电池后备系统（BBS）12VBBS与Busbar电气连接，实现机柜级不间断供电；逆变电源（选配）满足交流交换机不间断供电；天蝎整机柜上的BBSBBS规格指标高度96mm（2SU）；宽度538mm（21inch）；深度小于850mm；后备时间：15min；8.8kw负载支持