医疗医学卷积神经网络CNN.ppt

CNN的早期历史 卷积神经网络CNN K. Fukushima, “Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position,” Biological Cybernetics, vol. 36, pp. 193–202, 1980 Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel, “Backpropagation applied to handwritten zip code recognition,” Neural Computation, vol. 1, no. 4, pp. 541–551, 1989 Y. Le Cun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based learning applied to document recognition,” Proceedings of the IEEE, vol. 86, no. 11, pp. 2278–2324, 1998 1 DL时代的CNN扩展 A Krizhevsky, I Sutskever, GE Hinton. ImageNet classification with deep convolutional neural networks. NIPS2012 Y. Jia et al. Caffe: Convolutional Architecture for Fast Feature Embedding. ACM MM2014 K. Simonyan, A. Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014 C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A.Rabinovich. Going deeper with convolutions. CVPR2015 (arXiv:1409.4842, 2014) 2 卷积——示例 3 卷积——形式化 4 卷积——why? 1. sparse interactions 有限连接，Kernel比输入小 连接数少很多，学习难度小，计算复杂度低 m个节点与n个节点相连O(mn) 限定k(m)个节点与n个节点相连，则为O(kn) 5 卷积——why? 1. sparse interactions 有限连接，Kernel比输入小 连接数少很多，学习难度小，计算复杂度低 m个节点与n个节点相连O(mn) 限定k(m)个节点与n个节点相连，则为O(kn) 6 卷积——why? 1. sparse interactions 有限(稀疏)连接 Kernel比输入小 局部连接 连接数少很多 学习难度小 计算复杂度低 层级感受野（生物启发） 越高层的神经元，感受野越大 7 卷积——why? 2. Parameter Sharing（参数共享） Tied weights 进一步极大的缩减参数数量 3. Equivariant representations 等变性 配合Pooling可以获得平移不变性 对scale和rotation不具有此属性 8 CNN的基本结构 三个步骤 卷积 突触前激活，net 非线性激活 Detector Pooling Layer的两种定义 复杂定义 简单定义 有些层没有参数 9 Pooling 10 定义（没有需要学习的参数） replaces the output of the net at a certain location with a summary statistic of the nearby outputs 种类 max pooling (weighted) average pooling Why Pooling? 11 获取不变性 小的平移不变性：有即可，不管在哪里 很强的先验假设The function the layer learns must be invariant to small translations Why Pooling? 12 获取不变性 小的平移不变性：有即可，不管在哪里 旋转不变性