基于深度学习地软测量建模研究.ppt

这里，无监督预训练的作用是最小化模型的。。。NN的作用是。。。 * 利用DAE-NN模型对污水中凯氏氮含量建模，模型的预测效果如图所示，从图中可以看出，模型基本可以跟踪数据的变化 * 通过对比不同方法的预测结果可以看出，三层的DAE-NN模型具有很好的预测精度与泛化能力。。。(点)通过对比不同层数的DAE-NN模型可以看出，模型的预测能力随着层数的增加而提升。。。（点）通过。。。 * 为了研究经过三层的DAE变换之后得到的高层抽象特征有何特点，这里将数据通过拉普拉斯特征映射将数据投影到三维空间。拉普拉斯特征映射可以保留样本之间的相似性，即保留样本隐含的流形结构。从图中可以看出(点)经过三层的DAE变换之后特征分布更光滑，可以起到降维去噪的作用。 * 本文利用DAE-NN建模。。。（点）从实验结果可以看出。。。（点）对比不同层数的DAE-NN实验结果可以看出，随着层数的增加，模型的预测能力与泛化能力在不断提高 * 这里画出数据经过降维之后的可视化图像，经过三层DAE变换，可以达到对原始样本空间降维去噪的效果 * 因此，DAE-NN模型有 * 为了充分利用无标签样本，本文提出了基于DAE-NN的半监督。。。 自动化系 * 模型的结构框架如图所示，无标签样本在无监督预训练阶段加入，（点）用来提高模型的泛化能力。从模型的优化目标函数也可以看出，无标签样本会对模型的结构起正则化作用 * 利用基于DAE-NN的半监督方法对污水中凯氏氮含量建模，有标签数据与无标签数据比例是1：2.从表中可以看出，无标签样本的加入，确实可以提升模型的预测精度与泛化能力，而对比传统神经网络的预测结果可以看出，无监督预训练可以提升模型的泛化能力。 * 这里将模型的权值可视化，灰度值表示权值大小，用来对比有监督参数调优过程中权值的变化。该图为不含无标签样本的三层DAE模型权值，这个是经过有监督参数调优后的权值。这个是包含无标签样本的三层DAE模型权值，。。。(点)从图中可以看出，无标签样本可以提升无监督预训练的效果，有监督的参数调优是在无监督预训练的基础上微调，防止模型陷入差的局部最优解 自动化系 * 将DAE-NN用来建模超超临界机组的烟气含氧量，从图片可以看出，模型可以跟随样本数据的变化，对比不同方法的软测量建模效果，可以看出DAE-NN半监督软测量模型具有较好的预测能力，通过比较无标签样本加入前后模型的预测结果，可以看出无标签样本的加入提升了模型的性能。 * 从实验结果可以看出，无标签样本。。。为了更好地利用无标签样本来提升无监督预训练的性能 * 本文提出了样本加权的DAE-NN半监督。。。。 自动化系 * 该方法的主要思路是根据区域密度找出离群样本点，离群样本点在样本空间的分布比较稀疏，可以通过基于密度的聚类方法找出这些样本点，赋予较低的权值，从而提高无监督预训练的效果。DBSCAN方法具有。。。该算法的流程为将数据经过PCA变换预处理之后，经过DBSCAN聚类，找出噪声的样本点与非噪声样本，分别赋予不同的权值 * 如图为DBSCAN方法聚类之后的无表情样本分布图，白色的为噪声点。通过实验结果可以看出，通过找出低密度离群点的方式对样本加权，可以提高模型的无监督预训练效果，进而提升模型的预测能力。 * （点）本文利用样本加权的DAE-NN来建模。。。左图为原始。。。绿色的为无标签样本，红色的为有标签训练样本，通过基于密度的聚类方法(点)，可以发现有标签样本周围的无标签样本 * 通过对这些低密度噪声点加权，可以有效地提升模型的预测精度与泛化能力 * 从实验结果可以看出。。。 * 最后是有关本课题的总结与展望。 自动化系 * 首先是本课题的主要工作总结，此处就不在赘述了 * 以上就是我的答辩，谢谢各位老师，辛苦了！ * 不含无标签DAE权值 基于DAE-NN的半监督软测量建模方法 含无标签DAE权值 不含无标签NN权值 含无标签NN权值 微调 ? MSE DAE-NN(含无标签) DAE-NN(不含无标签) LMSE GMSE LMSE GMSE 输出1 0.0488 0.0908 0.0632 0.1325 输出2 0.0470 0.1243 0.0425 0.1292 半监督DAE-NN的烟气含氧量预测结果1 半监督DAE-NN的烟气含氧量预测结果2 基于DAE-NN的半监督软测量建模方法 加入无标签样本前后DAE-NN模型实验结果 ? MSE DAE-NN (含无标签) NN SVR LMSE GMSE LMSE GMSE LMSE GMSE 输出1 0.0503 0.0922 0.0897 0.1435 0.1285 0.1211 输出2 0.0470 0.1243 0.0694 0.1575 0.1163 0.1308 不同方法进行软测量建模的实验结