基于XGBoost集成深度学习的红外与可见光图像识别方法.docx

??

?

??

基于XGBoost集成深度学习的红外与可见光图像识别方法

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

摘要：本文以红外与光学成像为研究对象，提出采用XGBoost集成深度学习算法，通过对光学图像首先采用了镜像翻转、图像分割、灰度化与归一化等图像预处理手段对样本数据进行修正，研究了在小样本数据集中四种算法的性能表现。结果表明：对于小样本数据集，随机森林和XGBoost的训练效果最好，准确率达98.75%，优于其他几种算法。

关键词：红外可见光图像；目标识别；决策树；集成学习；深度森林；

绪论

在过去的几十年里，红外与光学结合的图像识别方法得到了广泛的研究，相关研究者在早年大多数方法是基于传统的人工特征来训练分类器，设计了如K近邻分类器、支持向量机分类器等众多经典分类器。在分类器设计领域中，随机森林与集成学习算法[1-3]是一类非常简单高效的代表性算法。简单的神经网络无法保证在输入图像发生旋转或局部变形时的训练效果，针对以上问题，卷积神经网络方法大大提高了准确率以及参数模型的训练速度[4,5]。在分类器设计方面，SVM（支持向量机）、RF(随机森林)、XGBoost（进化梯度提升算法）[6-8]等多种分类算法都十分高效，基于树模型的深度学习与集成学习方法更容易进行理论分析，本文主要研究了以决策树理论为基础的深度集成方法[9-12]。

问题描述

假设红外/可见光图像训练集为个训练样本，其中是数据样本，是类别标签，考虑数据样本，即样本数据有个属性，假设第个属性有个可能的取值，表示取值的集合，，按照属性对数据进行分类，会的到个分支，即第个分支上的样本数据集取值均为。

决策树模型由节点和有向边组成,节点分为内部节点与叶节点。决策树建模分为学习过程和生成过程，根据不同的目标函数，建立决策树的分裂算法优化准则，主要包括：信息增益、信息增益率和基尼系数。本文采用基于基尼系数(Gini)系数的CART决策树生成算法。在此基础上，采用集成的深度学习算法对图像进行属性识别。

3红外与光学图像的深度集成算法

3.1Boosting与XGBoost算法

Boosting方法的原理是利用贪心算法的思想，经过多次迭代，逐渐累积多个弱评估器，从而得到更加精确的强分类器。在累积的过程中借助了凸损失函数在函数空间进行梯度下降，其中代表性的算法包括AdaBoost(AdaptiveBoosting)算法、BDT(GradientBoostingDecisionTree)算法和XGBoost(eXtremeGradientBoosting)算法[6,13]，本文选择XGBoost这种高级决策树集成算法作为主要研究对象，其动态建模过程如图1所示[13]：利用了贪心算法的思想，先建立一棵简单的决策树，然后逐渐迭代，在迭代过程中每次中都增加一棵树，逐渐形成一种集成了众多树模型的强分类器。

对于XGBoost来说，每个叶子节点上会一个概率估计得到的预测分数，称之为叶子权重，用或者来表示，其中表示第棵决策树，表示样本所对应的特征向量。当只有一棵树的时候，就是返回的结果；多棵树的时候，所有树的预测分数相加得出对应的回归结果。

图1.XGBoost的动态建模过程

XGBoost算法主要由以下三部分组成：

损失函数的定义。XGBoost算法的损失函数与模型复杂度结合起来，从而既可以衡量模型的泛化能力又可以衡量算法的运算效率，实现模型表现和运算速度的平衡优化，表示为：

（1）

其中表示第个样本,表示导入的数据样本总量，代表建立的所有树。在该损失函数中，第一项代表真实标签与预测值之间的差异；第二项代表模型的复杂度。在每一棵树的迭代过程中，采用了最小化损失函数来获取最优的参数值。第一项与已经建立好的所有树模型保持一定的相关性，其数学描述如下：

(2)

(2)寻找最佳树结构。在定义了目标损失函数表达式后，在公式中以叶子节点上的预测分数来表达树，以叶子数目加深正则项来表示树模型的复杂度：

（3）

假设第t棵树的结构已经被确定为q，将树的结构带入目标损失函数进行转化，

求出在第次迭代中需要求解的最优的树，得出目标损失函数为:

（4）

定义，则最优权重为：

（5）

将公式(5)代入目标函数(4)中刚得到目标函数的最优解：

（6）

（3）寻找最佳分支。XGBoost在寻找最佳分支的过程利用了贪婪算法，其目标是通过寻找局部最优解进而找到全局最优解。即假设每片叶子都是最优，则生成的树结构也是最优结构，这种算法思想可以省去遍历所有可能树结构的麻烦，寻找最佳分支的流程如图2所示：

图2寻找分支流程示意图

4.红外与光学图