bengio和lecun在nips2016上的演讲.docVIP

选自 NIPS2016 机器之心整理编辑： 杜夏德 NIPS 2016 召开至今，干货满满， Google 、吴恩达、 IanGoodfellow 等 公司和学者的演讲、展示的材料不断放出。今天小编又给大 家带来两位重磅级学者 Yoshua Bengio 和 Yann LeCun 在 NIPS2106 上的讲演材料。 Bengio 主要介绍从生物学角度介 绍了深度学习， 而 LeCun 讲解了基于能量的 GAN 及其对抗 训练的方法。点击阅读原文即可下载两份材料的 PDF1 【生 物学可信深度学习】 《 Towards biologically plausible deep learning 》by Yoshua BengioP2-5. 深度学习的核心议题是信 用分配也就是，隐藏层要做什么才能对其他层及该网络更大 的目标有用？现有的方法是反向传播算法及玻尔兹曼机中 的随机松弛。但是强化学习不行，因为方差会随着神经元获 得的信用数量呈线性上升。那么大脑有时如何做的呢？生物 学上可信的反向传播。连续 Hopfield 神经网络的能量函数 变异 P6-9. 作为推理的神经计算需要对称性， 巧合的是没有 强制对称的自动编码器最终会有对称权重。反向传播不需要 严格的对称。 P10-13 如何在负相中进行快速推理（后验采 样）。对于深度生成网络的快速推理前馈初始化在生物学上 是可信的。误差的传递是件好事，因为它能实现一种和谐。 而误差的传递其实就是增量目标的传递。 P15-22 我们如何 训练一个执行计算的物理系统？首先要实现动态平衡P23- 训练一个执行计算的物理系统？首先要实现动态平衡 P23- 26STDP 连接平衡传播产生 STDP ——一个微分对比的 Hebbian 更新 P27. 继承反向传播的特性 P28. 误差传递等 于增量目标的传递 P29-30. 平衡传播包括作为前馈网络中 一个特例的一般反向传播 P31. 开放性的问题摆脱能量公式 的局部极小值，同时泛化到被其动力学限制的系统中，还要 学习过渡算子( transition operator )，这样就可以避免权重 对称约束将这些想法推广到无监督学习中一段时间后反向 传播会怎么样呢？ P32. STDP vs 反 STDP ：可能吗？ P33. Variational WalkbackP34.GAN 在大脑中的部署和 Actor-Critic 算法：质疑单一目标优化 Dogma2. 【能量 GAN 与对抗方法】 《 Energy-Based GANs other Adversarial things 》 by Yann LeCunP2. 无监督学习 P3. 基于能量的无 监督学习学习一个满足以下两个条件的能量函数在数据流 形上取值较低在其他地方取值较高 P4-5. 在带有能量函数 的变量之间扑捉相关性 ( dependencies )P6. 学习该能量函 数 P7-9. 塑造能量函数的 7 个策略 P10-22 对抗训练。难 点是在不确定的情况下预测。基于能量的无监督学习对抗训 练：一个可训练的目标函数基于能量的 GAN 。 EBGAN 损 失函数 EBGAN 的解决方法是纳什均衡 ENGAN 中的 D 是一个梯形网络基于能量的 EBGAN 在128 X 128像素的 ImagNet上训练的结果。基于能量的 EBGAN 在256 X 256 像素的 ImagNet 上训练的结果。 P23-34 视频预测(经过 对抗训练)用于视频预测的多尺度卷积网络不能使用平方误 差：模糊预测预测的无监督学习视频预测：预测 5 帧的结 果图视频预测：预测 50 帧的结果图 P35-P43 风格迁移风 格迁移架构风格迁移结果风格迁移： 风格插补( interpolation )