马克斯池maxpooling-Zll.docVIP

一、池化 1、概述： 在通过卷积获得了特征 (features) 之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，例如 soft max 分类器，但这样做面临计算量的挑战。例如：对于一个 96X96 像素的图像，假设我们已经学习得到了400个定义在8X8输入上的特征，每一个特征和图像卷积都会得到一个?(96 ? 8 + 1) * (96 ? 8 + 1) = 7921?维的卷积特征，由于有 400 个特征，所以每个样例 (example) 都会得到一个?892?* 400 = 3,168,400?维的卷积特征向量。学习一个拥有超过 3 百万特征输入的分类器十分不便，并且容易出现过拟合 (over-fitting)。为了解决这个问题，首先回忆一下，我们之所以决定使用卷积后的特征是因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值 (或最大值)。这些概要统计特征不仅具有低得多的维度 (相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化 (pooling)，有时也称为平均池化或者最大池化 (取决于计算池化的方法)。下图显示池化如何应用于一个图像的四块不重合区域。 2、池化的不变性 如果人们选择图像中的连续范围作为池化区域，并且只是池化相同(重复)的隐藏单元产生的特征，那么，这些池化单元就具有平移不变性 (translation invariant)。这就意味着即使图像经历了一个小的平移之后，依然会产生相同的 (池化的) 特征。在很多任务中 (例如物体检测、声音识别)，我们都更希望得到具有平移不变性的特征，因为即使图像经过了平移，样例(图像)的标记仍然保持不变。形式上，在获取到我们前面讨论过的卷积特征后，我们要确定池化区域的大小(假定为)，来池化我们的卷积特征。那么，我们把卷积特征划分到数个大小为?的不相交区域上，然后用这些区域的平均(或最大)特征来获取池化后的卷积特征。这些池化后的特征便可以用来做分类。/wiki/index.php/Pooling 二、回归 1、概述： 回归是指对已知公式的未知参数进行估计。可以简单理解为，在给定训练样本和已知的公式后，对于一个或多个未知参数，机器会自动枚举参数的所有可能取值（对于多个参数要枚举它们的不同组合），直到找到那个最符合样本点分布的参数（或参数组合）。（当然，实际运算有一些优化算法）回归的前提是公式已知，根据这些公式的不同，回归分为线性回归和非线性回归。线性回归中的公式都是一次的，而非线性则可以有各种形式。Logistic回归是线性回归的一种。/s/blog_74cpzf.html /jerrylead/archive/2011/03/05/1971867.html 2、soft max 回归 /wiki/index.php/Softmax%E5%9B%9E%E5%BD%92 soft max模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签??可以取两个以上的值。空间执行归一化，然后将归一化的图像转换到RGB空间。 5、结果 输入层是3个不同彩色空间的48*48的图像，输出层是43个神经元对应不同的分类结果。DNN有9层，一共大约有150万个参数，一半来自最后两层全连接层。用4个GPU训练25列的MCDNN花了37小时。