基于软件定义网络的智能QoS路由优化研究.docx

?

?

基于软件定义网络的智能QoS路由优化研究

?

?

高群涛冯巧新

【摘要】??随着移动互联网通信技术的快速发展，新型网络应用和业务越来越多，网络用户数量和网络规模迅速增长，如何利用现有的网络资源和更有效率的路由优化方法来为网络业务提供更好的服务质量（QualityofService，QoS），已经成为网络发展的难题。网络规模的不断增大以及网络复杂度的不断提高，使得传统的QoS路由优化方案都越来越力不从心。这是由于传统QoS路由优化方案往往是针对某些具体网络场景的，而针对这些场景的解决方案难以适应不断变化的业务需求，因此需要提出一种适用广泛应用场景的QoS路由方案。近几年随着人工智能的发展，深度学习和强化学习都取得巨大进步，结合二者的深度强化学习在智能优化探索上有着巨大的潜力，与此同时，软件定义网络（Software-DefinedNetworking，SDN）的出现使得网络的控制变得更加灵活和高效，这些都为实现更加智能的QoS路由优化方案提供了新的机遇。本文对QoS多约束路由优化的问题进行了研究，以SDN为基本框架，使用深度强化学习进行路由策略，提出了一种新型的智能QoS路由优化方案。

【关键词】??软件定义网络??QoS??智能路由

一、相关技术

1.1SDN架构

1.SDN具有以下特点：1）与传统网络设备转发功能与控制功能是紧密结合相比，实现了數据平面与控制平面相分离。如果需要对网络应用功能进行更新，则必须对所有网络设备重新逐一配置，扩展性较差。SDN的出现使得网络设备得到解脱，网络设备只需按照控制层的SDN控制器下发的流表策略来执行转发，而不需要在去制定规则。极大地提高了网络设备的转发效率。2）集中式的控制，控制器控制着下层的网络设备，也控制着上层的网络应用，可以为上层应用提供不同的网络服务，3）具有可编程的接口，向应用层提供可编程的北向接口，开发者可以制定自己需要的网络功能。4）实现对网络流的细粒度管理，能够对流实时监控，对网络管理更加灵活和高效。SDN的架构主要由应用平面、控制平面、数据平面这三个部分组成。

1.2OpenFlow

在SDN网络中，控制平面的控制器与过数据平面的网络设备通过OpenFlow协议进行通信。SDN控制器负责对控制规则的制定、流表下发，交换机只需按照下发的流表规则进行转发。底层设备支持OpenFlow协议，称为OepnFlow交换机。

1.3SDN控制器

SDN控制器是控制层的核心组件，通过数据平面网络设备的运行状态来负责数据流的转发，并且向上层业务提供可编程的业务接口。在控制器中写相应的路由控制算法，能够得到满足QoS需求的路径。

二、基于SDN和A3C的智能QoS路由算法

2.1A3C算法模型构建

之前在第二小节分别介绍了基于值（Value）和基于策略（Policy）的二种强化学习方法，Actor-Critic算法（AC）就是融合了以值为中心和以策略（动作概率）为中心的强化学习算法。A3C算法为了提升网络训练的速度而采用异步训练的思想，利用多线程的训练方法。每个线程都相当于一个智能体在同一个或者不同的环境中进行随机探索，多个智能体共同进行探索的过程，之后收集探索过程中的状态、动作、奖励等信息，将收集到的信息按照异步的方式交互给中心网络进行梯度更新和网络学习，从而完成并行计算策略梯度的过程。即同时启动多个agent在环境中进行训练，异步进行数据采样，并在之后收集采集的样本进行网络参数的训练，在中心网络更新网络后下发到各个agent当中，在新的参数情况下进行新的数据采样，并且重复这个过程。

2.2A3C网络设计

上节论述了基于QoS智能路由系统的A3C算法框架，本节重点论述A3C算法的网络设计细节进行阐述，包括输入状态设计、输出动作设计、奖励函数的设计以及算法环境的设计，算法的整体设计实现逻辑图如图所示：

2.3QoS路由计算

根据网络中不同服务类型流的需求，本文提的QoS多约束路由算法—SDMCQR算法对不同需求的流提供不同的服务，如算法1所示。对于非QoS需求的流使用Dijkstra算法。对于有QoS需求的业务流，考虑有多种QoS参数要求，通过A3C深度网络模型的训练，会得到一套链路权值[w1，w2，…，wn]，根据链路的权重值加权以及流的优先级来来选择最佳路径，并能够实现动态路由切换和数据流的在线路由功能。

三、系统测试

31网络连通性测试

为了保证测量模块、网络感知模块、网络监控模块、智能路由模块的正常工作，基于OS3E的基本拓扑结构，用Mininet和Ryu控制器之间的连通，来测试网络环境的正常使用。首先输入ryu—manager命令开启Ryu控制器，在Mininet中通过运行Python编写的OS3E拓扑的拓扑脚本，使