基于机器学习的图像分类.ppt

基于深度学习的图像分类 [1] A. Krizhevsky, I. Sutskever, G. E. Hinton, ImageNet classification with deep convolutional neural networks, Advances in neural information processing systems (NIPS), 2012. 提纲 研究背景以及研究问题 核心结构与算法 实验结果 总结 研究背景 随着多媒体信息技术的发展，网络中的数字图像数量呈爆炸性增长，对海量图像进行自动管理的迫切需求促使图像分类成为学术界的研究热点 基于机器学习，已有算法虽然较好地处理小型数字图像集合，但如果直接应用于海量图像的处理，则会由于复杂度过高而难以在实际系统中实现 需要更为高效的图像分类算法！ 研究问题 如何快速有效的实现对海量图像的分类 基于深度卷积神经网络 采用一些新的特征降低训练时间 多种技术降低overfitting 获得相对于已有算法更好的性能 核心结构与算法（1） 提高训练速度 ReLU Nonlinearity non-saturating nonlinearity 采用ReLU （Restricted Linear Units）作为激活函数，相对于传统的激活函数可以更快速地收敛 Training on Multiple GPUs 采用2块显卡来进行并行计算 在网络结构上，部分分布在不同显卡上面的前后层节点之间无连接，从而提高计算速度 核心结构与算法（2） 减少过拟合 Overlapping Pooling adjacent pooling units overlap 训练中发现可以减少过拟合 Data Augmentation 随机crop 训练时候，对于256＊256的图片进行随机crop到224＊224，并通过水平翻转 测试时候，对左上、右上、左下、右下、中间做了5次crop，然后翻转，共10个crop，之后对结果求平均 对RGB空间做PCA，对主成分做高斯扰动 实际图像的性质，光照的强度和颜色的变化 核心结构与算法（3） 提升识别性能 Local Response Normalization 同层相邻节点的响应进行局部归一化提高了识别率 Dropout 将一些隐藏层节点的输出置零 学习出来的隐含层不依赖上一层的某一个特征，使得所学特征更加鲁棒 核心结构与算法（4） Overall Architecture 5个卷积层+3个全连接层 2、4、5卷积层的输入均来自同一块GPU 核心结构与算法（5） Details of Learning stochastic gradient descent 权重更新算法 实验结果 总结 通过深度卷积神经网络实现图像分类 采用新的激活函数、2块显卡等策略提升速度 Overlapping pooling, Data Augmentation减少过拟合 获得了相对于已有算法突破性的性能提升 谢谢！