- 1、本文档共9页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
中间件在多路平台上的NUMA调优指南v05
中间件在多路平台上的NUMA调优指南
文档更新记录 文档编号: 文档名: 中间件在多路平台上的NUMA调优指南 0.5 创建人: 王雪倩 创建日期 : 2016.10.11 更新历史 序号. 更新日期 更新人 更新内容 1 2016.9.18 王雪倩 第一版 2 2016.10.11 王雪倩 添加附录A:3B1500、3B2000四路服务器启动脚本;中间件需要修改的端口号中添加listener 3 4 5
目录
1. NUMA调优原理 4
2. 多路服务器的NUMA绑定优化方法 4
2查看系统cpubind数 5
22 复制多份中间件,修改端口号 5
23 对中间件启动脚本进行numa绑定 6
24 配置负载均衡器 6
25 检查numa绑定状态 7
3. 性能提升案例 7
. NUMA调优原理
在龙芯的多路服务器上,可能会出现这样一种现象:多路服务器的性能比单路服务器的性能提升不明显。典型的是运行中间件这种多线程的并发应用。
原因是多路服务器上是有多个CPU和多个物理内存条,普遍使用的SMP(对称多处理)模型,即操作系统将多个物理内存条作为一大块连续内存,所有CPU都能够访问到这个共享内存的所有单元。但是,由于处理器之间互联进行通讯时要有一定的开销,因此所有CPU到所有物理内存的访问速度是不同的,是NUMA(Non-Uniform Memory Access)模型。
以图1为例,一台机器有2个处理器(cpu0, cpu1),在每个处理器上接两个内存条(memory0.1, memory0.2, memory1.1,memory1.2),总共有4个内存块。一个处理器和直接相连的两个内存条合起来,称为一个NUMA node,这样这个机器就会有两个NUMA node。在物理分布上,一个NUMA node之内的处理器和内存块的物理距离更小,因此访问也更快。而如果跨node访问内存,则速度会变慢。在NUMA node1中,cpu1访问memory1.1和memory1.2就比访问memory0.1和memory0.2更快。
基于这一个原理,可以解释“多路服务器的性能比单路服务器的性能提升不明显”的问题。对于运行在多路服务器上的多线程应用程序,操作系统默认会随机分配物理内存,从而导致线程运行在CPU0上、而访问的数据位于CPU1所连接的memory上,这样会导致应用程序运行速度下降。
为了充分发挥多路服务器上应用程序的性能,可以利用操作系统提供的命令工具,对应用程序使用的CPU和物理内存进行绑定,保证本node内的CPU只访问本node内的内存块。本文档就介绍这样一种优化方法,在实施之后一般都能够使多路服务器上的中间件提升80%性能。
2. 多路服务器的NUMA绑定优化方法
比如一个OA系统在3B2000双路服务器上运行,进行压力测试时发现性能较低,不能满足用户需求,那么接下来就需要进行多路服务器的NUMA绑定调优。以3B2000双路服务器为例,介绍具体实现方法。
2.1 查看系统cpubind数
在终端中执行命令(以3B2000双路服务器为例):
cpubind后面的数字说明机器是2路,意味着需要绑定2个中间件。
如果是其他类型服务器,详情请参见附录A。
2.2 复制多份中间件,修改端口号
首先要在一台服务器上复制2份中间件,每一个中间件是一个独立的目录。
为了能够在一台机器上启动两个中间件进程,两个中间件必须使用不同的网络端口号,因此需要修改第二份中间件的配置文件。端口号修改以“同一个IP地址上的端口号不冲突”为原则,具体端口号可以任意指定,但是需要在本机保证唯一、并且和第一份中间件相区别。
以东方通中间件为例,配置文件中需要修改的端口号有3个(http、jmx和管理控制台端口),具体需要修改的是config目录下的twns.xml文件:
将端口号由8080改为8081;
将端口号由7200改为7205;
将admin-listener端口号由9060改为9061;
将listener端口号由5100改为5101;
2.3 对中间件启动脚本进行numa绑定
在两份中间件的bin/目录下,分别编写numa绑定的启动脚本。脚本中调用操作系统内置的numactl命令工具,加上适当参数,使每一个中间件只运行在一个CPU上,只访问该CPU节点内部的物理内存。
numactl命令在中标操作系统服务器版中默认安装。
第一份中间件启动脚本:
# numactl --cpunodebind=0 --membind=0 ./startserver.sh
第二份中间件启动脚本:
# numactl --cpunodebind=1 --membind=1 ./starts
您可能关注的文档
- 东海和台湾海峡之间冬季沉积物传输系统之沈积学研究.PDF
- 东天山地区铜镍矿找矿评价指标探讨 - 中国工程科学.PDF
- 东海沉积物岩芯中生物硅的测定及其地层学分析-厦门大学学术典藏库.PDF
- 东天山地区黄山东与香山镁铁质- 超镁铁质杂岩体对比 - 地球科学.PDF
- 东濮凹陷上古生界生烃史及二次生烃时空差异性研究 - 断块油气田.PDF
- 东濮凹陷文南—刘庄地区沙二下亚段浅湖风暴沉积 - 地球科学与环境学报.PDF
- 东海黑潮区营养盐及其限制作用的月际空间分异 - 资源科学.PDF
- 东南极晚新元古 - 极地标本资源共享平台.PDF
- 东部沙区表土有机质和速效养分与风沙环境关系初探② - 干旱区地理.PDF
- 丝绸之路是一条活的道路.PDF
文档评论(0)