两级双机收发性能Indico.PPTVIP

数据获取万兆网络性能研究 谌炫 中科院高能物理研究所 主要内容 背景介绍 测试工具介绍 系统搭建与性能测试 A组-两级双机收发性能1 B组-两级双机收发性能2 C组-两级多机收发性能 D组-三级多机收发性能1 E组-三级多机收发性能2 总结 背景介绍 高能物理实验规模增大 电子学系统向高密度方向发展 后端数据获取系统须具备高带宽数据处理能力 万兆以太网技术步入应用阶段，可作为一种解决方案 测试工具介绍 iperf 第三方网络性能测量工具，通用，简单 可测试TCP、UDP性能 不能实现线程级测试 不能实现多级网络传输系统测试 idaq 针对高能物理实验中的数据获取系统设计 可测试TCP性能 能实现线程级测试 能实现多级网络传输系统测试 idaq L1 Client idaq L2 Client idaq Ln Client idaq Server 测试系统搭建 测试中用到的硬件主要包括： 测试服务器（其中有一部分安装了万兆网卡） 千兆交换机 万兆交换机（包括千兆网接口和万兆网接口） 光纤跳线、超五类网线（用于千兆网） 测试都在Linux系统下进行 测试数据包范围8Byte-10240Byte，步进8Byte A组-两级双机收发性能1 连接方式： 发送方式：s7单线程发送数据，s8单线程接收数据 A组-两级双机收发性能1 iperf测试结果： 交换机 直连 当数据包长度在4000B左右，传输速度达到最大值9400Mb/s左右 由于协议栈在发送数据时将多个小分组缓存组成较大分组一次性发送出去，所以传输速度会出现抖动 A组-两级双机收发性能1 idaq测试结果： 交换机 直连 当数据包长度在3000B左右，传输速度达到最大值9400Mb/s左右 数据包小于3KB时，发送端CPU占用率接近满负荷运行(发送端服务器s7有16个逻辑CPU,平均到每个逻辑CPU的满负荷占用率为6.25%)。说明这个阶段，发送端CPU是瓶颈。提高CPU性能，预期能使网络传输速度更快达到最大值 数据包增大，发送端CPU占用率下降。说明传输速度达到最大值，网卡性能成为瓶颈，传输大数据包的频率低于传输小数据包的频率，CPU占用率降低 B组-两级双机收发性能2 连接方式： 发送方式：s7同时启动5个idaq client发送数据；s8使用多线程，为每个连接创建一个线程接收数据 B组-两级双机收发性能2 idaq测试结果： 交换机 直连 当数据包长度在256B左右，传输速度达到最大值9400Mb/s左右 随着数据包增大，传输速度很快地达到了最大值，这说明采用多线程技术更充分地利用了多核CPU 数据包增大，发送端和接收端CPU占用率下降，最终稳定在较低水平 C组-两级多机收发性能 连接方式： 发送方式：L1-C1~L1-C12均通过单线程发送数据；S使用多线程，为每个连接创建一个线程接收数据 C组-两级多机收发性能 idaq测试结果： 当数据包长度在160B左右，传输速度达到最大值9300Mb/s左右。 随着数据包增大，传输速度很快地达到了最大值，这说明采用多线程技术更充分地利用了多核CPU 数据包增大，发送端和接收端CPU占用率下降，最终稳定在较低水平 D组-三级多机收发性能1 连接方式： 发送方式：L1-C1~L1-C5均通过单线程发送数据；L2使用多线程，为每个连接创建一个线程接收并转发数据；S使用多线程为每个连接创建一个线程接收数据 D组-三级多机收发性能1 idaq测试结果： 当数据包长度在48B左右，传输速度达到最大值940Mb/s左右。说明在综合了千兆网和万兆网的多级系统中，由于第二级L2Client使用千兆网接收转发数据，成为瓶颈，使得整个系统的传输速度只能达到接近千兆的水平 随着数据包增大，传输速度很快地达到了最大值，这说明采用多线程技术更充分地利用了多核CPU E组-三级多机收发性能2 连接方式： 发送方式：L1-C1~L1-C12均通过单线程发送数据；L2使用多线程，为每个连接创建一个线程接收并转发数据；S使用多线程为每个连接创建一个线程接收数据 E组-三级多机收发性能2 idaq测试结果： 当数据包长度在144B左右，传输速度达到最大值8600Mb/s左右。 相对于D组测试，本组测试中的第二级L2Client均使用万兆网络接收转发数据，解决了瓶颈问题，使得整个系统的网络传输速度达到接近万兆的水平。 随着数据包增大，传输速度很快地达到了最大值，这说明采用多线程技术更充分地利用了多核CPU 总结 基于现有的万兆网技术和市面上常见的万兆设备，搭建了简单的万兆网络 基于高能物理实验对数据处理系统的需求，开发了相应的测试程序 对万兆网络的