体系结构研究者眼中的神经网络硬件.pdf

专题 第 11 卷  第7 期  2015 年 7 月 体系结构研究者眼中的 神经网络硬件 陈云霁 　 关键词 ： 计算机体系结构　神经网络硬件　寒武纪系列 中国科学院计算技术研究所 背景 是通过更高的主频来提升计算机 现加速器——针对特定应用或算 [9] 性能。根据摩尔定律，处理器芯 法而定制的硬件电路 。从移动 神经网络硬件是计算机体 片上的晶体管数量和峰值功耗都 通信终端到数据中心，加速器是 系结构、人工智能和神经科学等 在不断增加。由于时钟频率的提 提升性能和能效的最有效手段。 多学科深度融合、交叉的一个领 高和泄漏电流的增加，需要提高 有研究表明，加速器能够使一些 域，是利用专门的硬件电路对神 [29] 驱动电压来快速识别晶体管的状 应用的能效提升50~ 1000 倍 。 经网络算法进行处理。二十世纪 态。驱动电压与时钟频率有一定 神经网络硬件加速器又重新成为 八九十年代，国内外曾掀起一阵 的正比关系，根据晶体管的功耗 体系结构研究的重要内容。 研究神经网络硬件的热潮。但是 估算公式，可以得出，功耗的增 由于整个智能领域的研究陷入低 加大大超过了性能的提升。根据 人工智能：深度学习技术 潮，神经网络硬件的研究也趋于 [1] 神经网络的研究分为生物启 英特尔公司的研究报告 ，3% 停滞。近年来，计算机体系结构、 的功耗只能带来1% 性能的提升， 发的神经网络(bio-inspired neural 人工智能应用出现了一些新的趋 这种代价过于昂贵。功耗的提升 network) 和人工神经网络(artifi- 势，神经网络硬件加速器又重新 和处理器芯片有限的封装散热能 cial neural network) 两类。前者 回到工业界和学术界的视野。 力也有突出的矛盾。受限于封装 由神经生物学家关注，用于建立 功耗，大部分的晶体管无法同时 一种合适的模型 （从生物学而 计算机体系结构：暗硅 全速工作，出现 “暗硅(dark sili- 来）来帮助理解神经网络和大脑 自计算机诞生以来，性能不 [23, 66] 是如何工作的，比较有代表性的 con)” 。目前晶体管工艺仍有 断提升的处理器芯片使人类处理 发展空间，随着三维堆叠(3D - 是脉冲神经网络(spiking neur al 和计算大规模数据的能力不断增 st ack ) 技术的发展，可以预见芯 network)[45] 。最近，IBM 在 《自 强，强大的计算能力也推动着其 片的集成度仍将提升，功耗密度 然》(N ature ) 上发表了他们的成 他学科的不断发展，反过来各个 (power den sity) 将使散热问题更 果——TrueNorth [48] ，高通公司 学科也促使人类不断追求更加强 加突出。 也宣布生物启发的神经网络芯片 大的计算能力。 [38] 目前工业界和学术界的共识 Zer oth 处理器 的消息。这些 处理器芯片厂商一直以来都 是 ：体系结构需要用 “暗硅”实 模型都采用